在QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。
演讲简介:
本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。
主要内容
Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。
介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。
通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。
最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。
讲师介绍:
严岩
LinkedIn Staff Engineer
严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。
2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。
完整演讲 PPT 下载链接:
https://qcon.infoq.cn/2018/beijing/schedule
评论