写点什么

微博深度学习平台基于 Kubernetes 的分布式解决方案

  • 2019-09-10
  • 本文字数:548 字

    阅读完需:约 2 分钟

微博深度学习平台基于Kubernetes的分布式解决方案

ArchSummit北京2018大会上,于翔讲师做了《微博深度学习平台基于 Kubernetes 的分布式解决方案》主题演讲,主要内容如下。


演讲简介


随着深度学习在微博业务场景中的广泛使用,深度学习平台遇到一些挑战:离线训练方面,各业务方需求丰富多样,任务管理纷繁复杂,大数据与大模型带来训练时长的压力;在线推理方面,基于模型服务的特殊性,如何在满足微博大流量高性能的在线业务需求同时,保证服务的高可用与稳定性。


本次分享从以上两个维度切入,基于 K8s 构建分布式离线与在线方案,解决上述遇到的挑战。


演讲提纲


  1. 介绍背景,微博业务与深度学习平台;

  2. 介绍离线训练遇到的挑战,方案选型(Yarn & K8s),方案介绍(基于 tfjob)以及相关效果;

  3. 介绍在线推理遇到的挑战,方案选型(自定义服务发现)解决方案(K8s deployment 等基础资源对象)。


听众受益点


  • 对深度学习感兴趣的听众,可以了解到深度学习算法在业务应用的基本流程;

  • 深度学习平台的基础架构;

  • 大规模深度学习会遇到的瓶颈与 K8s 解决方案;

  • 在线模型服务的服务特性与一些优化点。


讲师介绍


于翔


新浪微博 机器学习研发架构师


现就职于新浪微博,在机器学习平台中曾负责特征工程项目,目前主要负责算法服务平台与深度学习平台的搭建与开发。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-10 14:022529

评论

发布
暂无评论
发现更多内容

产业互联网助力预制菜出海 云创科技数据资产入表获批融资500万 新能源装备新质供应链创新协同平台启动 | 产业互联网观察第173期

AMT企源

华为 阿里 产业互联网 数字化转型 AMT企源

httpsok-v1.11.0支持CDN证书自动部署

物有本末

https CDN 免费SSL证书 HTTPSOK nginx证书

🔥httpsok-v1.11.0支持OSS证书自动部署

物有本末

https OSS 证书管理 免费SSL证书 HTTPSOK

基于LangChain实现数据库操作的智能体

测吧(北京)科技有限公司

测试

算法人生(11):从“梯度提升树(GBDT)”看“2/8时间管理法”

养心进行时

机器学习 算法 时间管理 梯度提升树 GBDT

联手火山引擎,华硕利用大模型和向量数据库推出AI功能笔记本

新消费日报

详解Python 中可视化数据分析工作流程

华为云开发者联盟

Python 数据可视化 华为云 华为云开发者联盟 企业号2024年5月PK榜

基于LangChain实现数据库操作的智能体

测试人

软件测试

ChatGPT无需注册就能使用!为何突然“免费”?

蓉蓉

openai ChatGPT4

浅析MySQL代价模型:告别盲目使用EXPLAIN,提前预知索引优化策略| 京东零售技术团队

京东科技开发者

【京东云新品发布月刊】2024年4月产品动态

京东科技开发者

pandabuy VS wegobuy 淘宝代购集运系统类似软件哪家公司开发的?

tbapi

淘宝代购系统 淘宝代购集运系统 Pandabuy wegobuy

新一代多模态合规分析平台,炼就服务洞察火眼金睛

中关村科金

人工智能 多模态 大模型 客户洞察

带你了解GaussDB SQL中的BOOLEAN表达式

华为云开发者联盟

数据库 华为云 华为云GaussDB 华为云开发者联盟 企业号2024年5月PK榜

如何通过分散原则保证系统高可用

京东零售技术

架构 高可用 后端 企业号 5 月 PK 榜

🔥架构师狂掉1024根头发,总算搞定SSL通配证书

物有本末

https SSL证书 ssl HTTPSOK nginx证书

A-CSPO课程概念澄清和实操:假定(Assumptions)、实验(Experiments)、假设(Hypotheses)

ShineScrum

高阶产品开发 敏捷产品

一招MAX降低10倍,现在它是我的了| 京东零售技术团队

京东科技开发者

算法人生(10): 从“惰性求解”看“积极拖延”如何提高效率

养心进行时

算法 拖延 惰性求解 算法思路

微博深度学习平台基于Kubernetes的分布式解决方案_ArchSummit_于翔_InfoQ精选文章