写点什么

基于 K8s 原生扩展的机器学习平台引擎 ML Engine

  • 2020-02-08
  • 本文字数:620 字

    阅读完需:约 2 分钟

基于 K8s 原生扩展的机器学习平台引擎ML Engine

ArchSummit 北京 2019 大会上,褚向阳讲师做了《基于 K8s 原生扩展的机器学习平台引擎 ML Engine》主题演讲,主要内容如下。


演讲简介


CloudML 是小米人工智能部的机器学习平台,随着业务的发展和用户的增多,结合 K8s/Kubeflow 社区对于原生扩展及 ML/DL 平台发展方向,我们提出了基于 K8s 原生扩展的新一代机器学习平台引擎 ML Engine,主要思路是充分利用 K8s 原生的扩展机制,包括 CRD / Webhook / Scheduling Framework 等,将机器学习平台相关的业务模型、控制逻辑和调度策略融入到 K8s 集群中,提供更好的生命周期管理,同时满足高可用、稳定性和易维护性的云原生特性。


内容大纲


  1. 小米 CloudML 平台简介

  2. ML Engine 架构设计演进

  3. ML Engine 对多框架的分布式训练支持详解

  4. 未来发展方向和具体工作


听众受益点


  1. 了解目前机器学习平台所需要解决的问题

  2. 理解使用 K8s 的扩展功能来实现定制需求的方法和优势

  3. 重新思考云原生的机器学习平台架构


讲师介绍


褚向阳,小米人工智能部/高级软件工程师。


2013 年毕业后加入红帽软件,吸收开源文化,接触 OpenStack 和 IaaS 平台相关技术。2015 年底开始加入容器云创业公司,参与打造容器化的 PaaS 平台,2018 年加入小米人工智能部,负责小米机器学习平台的建设,重点支持各个框架的分布式训练,订制优化 K8s 调度,努力提高平台用户体验的同时保证集群利用率。持续关注 Kubeflow 社区及性能优化相关开源项目发展。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-08 18:41896

评论

发布
暂无评论
发现更多内容

(转)前端开发之MySQL分区表中的性能BUG

@零度

MySQL 前端

Apache APISIX 社区双周报 | 功能亮点更新进行中

API7.ai 技术团队

云原生 后端 开源社区 api 网关 Apache APISIX

酷炫3D效果在瘦设备上也能实现?|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

2021数据技术嘉年华 | OceanBase 技术盛宴ON LINE ,我们不见不散!

OceanBase 数据库

数据库 OceanBase 社区版 技术嘉年华 DTC

盘点2021 | 技术十年-记录十年技术经历

高性能架构探索

技术人 工作经历 经历分享 盘点2021

给弟弟的信第19封|年轻人要注意养生

大菠萝

28天写作

实用机器学习笔记二十:偏差和方差

打工人!

机器学习 深度学习 算法 学习笔记 12月日更

30个类手写Spring核心原理之自定义ORM(下)(7)

Tom弹架构

Java spring 源码

JAVA 开发常用工具汇总

编程江湖

java编程

10 个打造 React.js App 的最佳 UI 框架

编程江湖

前端开发

【MongoDB学习笔记】-使用 MongoDB 进行 CRUD 操作(上)

恒生LIGHT云社区

数据库 mongodb

「猿桌派」即将开播,聚焦客户端埋点和大数据分析

融云 RongCloud

大数据 程序员 埋点

在线JSON转Csharp工具

入门小站

工具

(转)大数据开发之Hive中UDTF函数

@零度

大数据 hive

6000 字干货详解:直播聊天室的无限用户优化

融云 RongCloud

高并发 直播 直播聊天室 海量用户

熟悉又陌生的白帽黑客组织OWASP

喀拉峻

黑客 网络安全 安全 OWASP

腾讯云原生数据库TDSQL-C斩获2021 PostgreSQL中国最佳数据库产品奖

科技热闻

化繁为简--百度智能小程序主数据架构实战总结

百度Geek说

小程序 百度 架构 后端 数据

DotNet工具箱之性能监控组件——CLRStats

为自己带盐

dotnet 28天写作 12月日更

升级过log4j,却还没搞懂log4j漏洞的本质?

华为云开发者联盟

Java log4j 漏洞 JNDI rmi

从Hadoop框架讨论大数据生态

编程江湖

大数据 hadoop

30个类手写Spring核心原理之动态数据源切换(8)

Tom弹架构

Java spring 源码

盘点 2021|不忘初心,扬风起航

小鲍侃java

盘点2021

Linux之more命令

入门小站

Linux

从 Discord 看未来社交的「超级群」模式

融云 RongCloud

Ajax+SSM实现客户端开发 实现简单的前后端分离

Bug终结者

Java ajax 前后端分离

web技术分享| 白板SDK的几种图形检测算法

anyRTC开发者

前端 音视频 白板 web技术分享 图形检测算法

孩子,你为什么要上学?

Tiger

28天写作

Linux云计算好学吗?Linux云计算运维学习资料,手把手教你学 条件测试语句和流程控制语句的使用

学神来啦

Linux centos Shell if linux云计算

超市发:多措并举 提振销售 服务顾客

科技热闻

视频通信中的码率控制算法

拍乐云Pano

音视频 RTC 视频编码 码率控制

基于 K8s 原生扩展的机器学习平台引擎ML Engine_ArchSummit_褚向阳_InfoQ精选文章