写点什么

LinkedIn Derived Data Platform

  • 2019-08-22
  • 本文字数:606 字

    阅读完需:约 2 分钟

LinkedIn Derived Data Platform

QCon北京2018大会上,严岩讲师做了《LinkedIn Derived Data Platform》主题演讲,主要内容如下。


演讲简介


本次分享将介绍 Linkedin derived data platform 以及其如何帮助 Linkedin 更好的管理机器学习的结果数据集。

主要内容

  1. Linkedin 机器学习的基本流程,着重于如何将结果数据集应用于线上 application,并阐述原有流程的痛点。

  2. 介绍 derived data platform 的整体设计以及几个关键技术点,例如如何合并批量和实时数据。

  3. 通过几个实例,例如数据标准化和相关性计算,来介绍 derived data platformr 如何存储海量结果数据集,并为线上 application 提供高可用,高性能的服务。

  4. 最后将总结在新平台上线和迁移过程中的一些经验,例如如何进行对用户无感知的迁移。


讲师介绍


严岩


LinkedIn Staff Engineer


严岩,拥有 10 年从业经验,先后就职于 Oracle、人人网、Google、LinkedIn,体验过从传统软件行业到互联网行业的转变,也历经了从国内到硅谷的工作生活变迁。曾任人人网高级架构师、技术委员会主席,负责基础架构部门,主导搭建了人人网大数据平台。


2015 年加入 LinkedIn Data Infrastructure 部门,参与开发分布式 key-value 数据库 Voldemort。现负责构建 LinkedIn 新一代 deserved data platform,整合了从批量计算和实时计算获取的多种数据源,并通过跨大洲的多机房备份,为上层系统提供全球范围内可靠的高性能的数据服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-22 00:00697

评论

发布
暂无评论
发现更多内容

架构实战营作业 M04

Shawn Liu

毕设:设计电商秒杀系统

ifc177

《Financial Management 101》读书笔记

箭上有毒

8月日更

架构实战营 模块四作业

三叔叔_拖延症晚期

百万量级的架构设计

俞嘉彬

架构实战营

架构训练营毕业设计—电商秒杀系统

Neil43

架构训练营

设计千万级学生管理系统的考试试卷存储方案

君子意如何

「架构师训练营第 1 期」

电商秒杀系统

唐江

架构实战营

毕业设计

CR

前端通讯协议:WebSocket和长轮询

devpoint

ajax websocket 8月日更

架构实战营-毕业设计

大可

架构实战营 毕业总结

TH

架构实战营

架构训练营第 1 期 模块四作业

高远

惊!Go里面居然有这样精妙的小函数!

Gopher指北

Go 语言

二维码批量生成下载工具

入门小站

工具

【架构实战营】模块四作业

Abner S.

架构实战营 #架构实战营

千万级学生管理系统的考试试卷存储方案

feitian

模块4作业G20210698020270

哆啦A萌

Linux之route命令

入门小站

Linux

架构实战总结

华仔架构训练营

架构实战营 毕业设计

TH

架构实战营

最后的作业-秒杀设计

大肚皮狒狒

使用 make 还是 new

Rayjun

Go 语言

【设计模式】装饰器模式

Andy阿辉

C# 后端 设计模式 8月日更

【架构训练营】模块四作业

zclau

7月日更总结

耳东@Erdong

个人成长 个人总结 8月日更

模块四作业

河马先生

架构实战营

前端之数据结构(五)二叉树

Augus

数据结构 8月日更

模块四作业

绝影

架构训练营

架构实战营 - 模块 4- 设计千万级学生管理系统的考试试卷存储方案

蔸蔸

架构实战营 模块四 作业

脉醉

#架构实战营

LinkedIn Derived Data Platform_QCon_严岩_InfoQ精选文章