写点什么

微博深度学习平台基于 Kubernetes 的分布式解决方案

  • 2019-09-10
  • 本文字数:548 字

    阅读完需:约 2 分钟

微博深度学习平台基于Kubernetes的分布式解决方案

ArchSummit北京2018大会上,于翔讲师做了《微博深度学习平台基于 Kubernetes 的分布式解决方案》主题演讲,主要内容如下。


演讲简介


随着深度学习在微博业务场景中的广泛使用,深度学习平台遇到一些挑战:离线训练方面,各业务方需求丰富多样,任务管理纷繁复杂,大数据与大模型带来训练时长的压力;在线推理方面,基于模型服务的特殊性,如何在满足微博大流量高性能的在线业务需求同时,保证服务的高可用与稳定性。


本次分享从以上两个维度切入,基于 K8s 构建分布式离线与在线方案,解决上述遇到的挑战。


演讲提纲


  1. 介绍背景,微博业务与深度学习平台;

  2. 介绍离线训练遇到的挑战,方案选型(Yarn & K8s),方案介绍(基于 tfjob)以及相关效果;

  3. 介绍在线推理遇到的挑战,方案选型(自定义服务发现)解决方案(K8s deployment 等基础资源对象)。


听众受益点


  • 对深度学习感兴趣的听众,可以了解到深度学习算法在业务应用的基本流程;

  • 深度学习平台的基础架构;

  • 大规模深度学习会遇到的瓶颈与 K8s 解决方案;

  • 在线模型服务的服务特性与一些优化点。


讲师介绍


于翔


新浪微博 机器学习研发架构师


现就职于新浪微博,在机器学习平台中曾负责特征工程项目,目前主要负责算法服务平台与深度学习平台的搭建与开发。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-10 14:022540

评论

发布
暂无评论
发现更多内容

LeetCode题解:55. 跳跃游戏,贪心,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

架构师训练营第 1 期 week11

张建亮

极客大学架构师训练营

Week7 作业

evildracula

学习 架构

架构师训练营第七周作业

李日盛

性能测试

Architecture Phase1 Week11:HomeWork

phylony-lu

极客大学架构师训练营

安全稳定

wing

极客大学架构师训练营

一文彻底搞懂前端监控

执鸢者

大前端

第 7 周 系统架构作业

心在那片海

第十一周 架构方法学习总结 —— 安全稳定

兵长

安全架构 高可用架构

Architecture Phase1 Week11:Summarize

phylony-lu

极客大学架构师训练营

Week7 性能优化学习总结

evildracula

学习 架构

架构一期第十一周作业

Airs

架构师训练营第 1 期 -- 第十一周学习总结

发酵的死神

极客大学架构师训练营

架构师 01 期,第十一周课后作业

子文

架构师训练营第七周作业一

韩儿

第 11 周 怎么又翻车了???

Pyr0man1ac

第 11 周 作业

Pyr0man1ac

什么样的股权,才算“到手”?| 法庭上的CTO(3)

赵新龙

股权 CTO 法庭上的CTO

架构师训练营第十一周课程笔记及心得

Airs

架构词典:逻辑

lidaobing

架构 逻辑

架构师训练营第七周小结

韩儿

第十一周学习总结

Meow

架构师训练营第2期 第7周命题作业

月下独酌

极客大学架构师训练营

架构师训练营 - 第 11 周课后作业(1 期)

阿甘

Week7-性能优化-作业1

Sean Chen

nodejs事件和事件循环简介

程序那些事

事件驱动 nodejs 事件循环 异步编程 程序那些事

第 7 周 系统架构总结

心在那片海

架构师第二期 第7周总结

月下独酌

极客大学架构师训练营

架构师训练营第 7 周学习总结

菜青虫

极客大学架构师训练营

11 安全稳定课后作业

ABS

第十一周作业

Meow

微博深度学习平台基于Kubernetes的分布式解决方案_ArchSummit_于翔_InfoQ精选文章