写点什么

Databricks 在构建统一数据分析平台上的新一轮实践

  • 2020 年 2 月 12 日
  • 本文字数:546 字

    阅读完需:约 2 分钟

Databricks在构建统一数据分析平台上的新一轮实践

AICon 北京 2019 大会上,李元健讲师做了《Databricks 在构建统一数据分析平台上的新一轮实践》主题演讲,主要内容如下。


演讲简介


本次讲座将从数据科学通用 API 及计算引擎两个维度介绍 Databricks 在构建统一数据分析平台上的新一轮实践。讲座以统一数据分析的基本思路作为切入点,从 Databricks Koalas 和 Delta 两个系统的设计初衷到实现细节逐步展开,相信其中的设计和实践经验会对大家有所帮助。


内容大纲


一、分享 Databricks 在构建统一数据分析平台及产品的基本思路


二、Databricks 实践经验解析


  1. 数据工程与数据科学的统一:Koalas 的设计初衷及实现细节解析

  2. 流式与批量计算的统一:Delta 架构及基本原理


三、统一计算引擎——Apache Spark 3.0 亮点一览


听众受益点


  1. 了解大数据统一分析平台研发中的常见痛点和可行解决方案

  2. Databricks 在构建统一数据分析平台、产品上实践经验


讲师介绍


李元健,Databricks 研发工程师。


李元健,Databricks 软件工程师。曾于 2011 年加入百度基础架构部,先后参与百度自研流式计算、分布式 Tracing 及批量计算系统的研发工作,2017 年转岗项目经理,负责百度分布式计算平台研发工作。2019 年加入 Databricks Spark 团队,参与开源软件及 Databricks 产品研发。












完整演讲 PPT 下载链接


https://aicon.infoq.cn/2019/beijing/schedule


2020 年 2 月 12 日 19:52415

评论

发布
暂无评论
发现更多内容

思维导图

纯纯

架构师训练营大作业

方堃

为什么我选择清晨阅读和学习

胡迪伦

学习 效率 自学编程 早起 晨型人

第一周作业

alpha

极客大学架构师训练营

有了数据湖探索服务,企业决策“新”中有数

华为云开发者社区

Serverless 数据湖 数据分析 云原生 华为云

架構師訓練營第1期-第01周總結

Panda

使用枚举的正确姿势

Java旅途

Java 单例 枚举

架构师训练营大作业

Bruce Xiong

在进行廋身之前,对你来说是想要找到问题的真相?或是解决当下的问题?

叶小鍵

心理学 基思·斯坦诺维奇

架构师训练营-大作业

连增申

LeetCode题解:66. 加一,BigInt,JavaScript,详细注释

Lee Chen

大前端 LeetCode

大作业二

嘻哈

第一周总结

睁眼看世界

极客大学架构师训练营

Golang领域模型-聚合根

奔奔奔跑

架构 微服务 领域驱动设计 DDD Go 语言

架构师训练营第 1 期第一次作业

强风

期末作业-达通快递

森林

oeasy 教您玩转 linux 之 010301 电子宠物 pet

o

LeetCode题解:84. 柱状图中最大的矩形,使用栈,JavaScript,详细注释

Lee Chen

大前端 LeetCode

互联网架构师能力图谱

dony.zhang

架构师 架构师技能

拖动旋转的 3D 骰子效果

Clloz

CSS transform rotate3d

轻松的可贵

谷鱼

回忆 转折

大作业-同城快递

林毋梦

架构师训练营-week01-作业

大刘

极客大学架构师训练营

架构师训练营大作业二(架构思维导图)

吴建中

C++隐式推导-auto关键词

良知犹存

c++

系统架构师训练营大作业(一)-同城物流快递业务系统架构设计

吴建中

技术解析丨C++元编程之Parser Combinator

华为云开发者社区

c++ 字符串 Parser Combinator Parser 元编程

食堂就餐系统 UML 图

睁眼看世界

极客大学架构师训练营 食堂就餐系统

Skywalking Php注册不上问题排查

心平气和

php Skywalking 全链路追踪

“锟斤拷”的前世今生

Java旅途

Unicode 编码 ASCII 锟斤拷

SpringCloud Gateway 身份认证

Barry的异想世界

微服务 nacos 权限系统 Gateway spring cloud alibaba

Databricks在构建统一数据分析平台上的新一轮实践-InfoQ