双剑合壁:实时计算+交互式分析双擎解决数据中台实时性的短板和痛点

2020 年 2 月 05 日

双剑合壁:实时计算+交互式分析双擎解决数据中台实时性的短板和痛点

ArchSummit 北京 2019 大会上,姜伟华讲师做了《双剑合壁:实时计算+交互式分析双擎解决数据中台实时性的短板和痛点》主题演讲,主要内容如下。


演讲简介


数据中台已经成为企业角逐的新热点,而实时性对于数据中台来说是能力倍增器。只有通过强大的实时数据中台,才能充分赋能业务。与强烈的业务需求相对应的是目前实时数据中台建设的落后。一方面,实时数据中台的理论和实践都还比较早期,另一方面,实时数据中台的实践往往是八国联军齐上阵,各种引擎各负责一小块,形成了大量的数据重复和孤岛。业务同学必须学习各种专门知识才能使用这些数据。这种情况使得中台能力很难向业务释放。


本演讲主要介绍一种通用的支撑实时数据中台构建的方法与实践。我们认为理想的实时数据中台应该是:端到端低延迟、SQL 标准化、快速响应变化、数据统一。在实践中,我们总结的最佳实践是:一个通用实时计算引擎+一个通用交互式分析引擎形成完整数据链路。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线。不光是实时计算导入数据给交互式分析,交互式分析也可以高效的服务实时计算。同时,基于这个模式,可以清楚的区分和定位平台、基础数据、业务等多个团队。这个模式不光容易复制,且能充分响应业务变化,赋能业务。


本次演讲将通过多个案例来介绍这种方案的优点及其挑战(包括各种开源或者闭源引擎的选取,技术及运维上的挑战等等)。希望通过这些案例的介绍,能帮助各企业更好的搭建自己的实时数据中台,提升数据的时效性。


内容大纲


  1. 现有实时数据中台方案的短板和痛点

  2. 一种通用的实时数据中台构建模式介绍

  3. 实时数据中台构建的挑战与技术难点

  4. 多种场景下的案例介绍


听众受益点


  1. 对现有实时数据中台构建方案的痛点有更加深刻的认识

  2. 了解实时计算和交互式分析双引擎实现实时数据中台方案及其优势有明确的认识

  3. 对实时数据中台构建的挑战与技术难点有更好的认识

  4. 对实时数据中台的最佳实践案例有更好的理解

  5. 能够更好的进行开闭源相关引擎的选取


讲师介绍


姜伟华


阿里巴巴 资深技术专家


曾长期在 Intel、唯品会等公司工作。在 Intel 期间,创建并负责 Intel 大数据研发团队,创立 Intel 大数据发行版,并连续多年保持国内市场占有率第一。领导 Intel 大数据开源,团队涌现出 10+ Apache Committer,创立两个 Apache 项目。曾获 Intel 最高奖(Intel Achievement Award)和 Intel 中国最高奖(Intel China Award)。在唯品会期间负责大数据平台与 AI 平台。现在阿里巴巴从事新一代大数据交互式分析引擎的研发工作。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020 年 2 月 05 日 19:36271

评论

发布
暂无评论
发现更多内容

第2周作业

Rocky·Chen

极客时间架构 1 期:第6周 技术选型(二) - 学习总结

Null

打工人必会算法—快速幂算法讲解

bigsai

周练习 6

何毅曦

技术选型二第六周作业「架构师训练营第 1 期」

天天向善

架构师训练营第六周课程笔记及心得

Airs

学习笔记:架构师训练营-第六周

四夕晖

week2-作业

Mr_No爱学习

第六周作业总结

Geek_ce484f

极客大学架构师训练营

架构师训练营第二期 Week 2 作业

bigxiang

极客大学架构师训练营

第六周作业

TheSRE

极客大学架构师训练营

学习总结 -week2

Mr_No爱学习

week2-作业1

Mr_No爱学习

2020.10.26-2020.11.01 学习总结

icydolphin

极客大学架构师训练营

极客时间 - 架构训练营 第一周总结 - 设计原则

第六周作业2

Yangjing

极客大学架构师训练营

极客时间架构 1 期:第 6 周 技术选型(二) - 命题作业

Null

CAP原理简述及应用

博古通今小虾米

CAP

Architecture Phase1 Week6:HomeWork

phylony-lu

极客大学架构师训练营

架构师训练营第六周作业

四夕晖

2周 总结

水浴清风

Week_06 总结+作业

golangboy

极客大学架构师训练营

LeetCode题解:90. 子集 II,回溯+哈希表去重,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

【第六周】课后作业

云龙

架构师 01 期,第六周课后作业

子文

Week2 框架设计

贺志鹏

极客大学架构师训练营

架构师训练营 Week6 - 课后作业

极客大学架构师训练营

思考 - 从传统雪崩到K8S

东风微鸣

k8s

week06作业

追风

架构师一期

架构师训练营第六周作业

月殇

极客大学架构师训练营

第六周作业

Geek_ce484f

极客大学架构师训练营

双剑合壁:实时计算+交互式分析双擎解决数据中台实时性的短板和痛点-InfoQ