苏宁 OLAP 引擎发展之路

2019 年 8 月 11 日

苏宁 OLAP 引擎发展之路

QCon北京2019大会上,赵云讲师做了《苏宁 OLAP 引擎发展之路》主题演讲,主要内容如下。


演讲简介


对于海量大数据进行即时的多维分析,没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景,我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询,在建设过程中,也遇到了各种各样的挑战。


如何将复杂业务场景抽象化,提供平台级能力支持,如何通过统一的 SQL 引擎来实现各种类型数据的统一查询;对于通用服务计算框架无法解决的问题,如何通过定制化实现来解决;对于通用查询引擎无法满足响应时间的场景,如何通过预计算方式来实现;如何通过 Cost 模型来对服务进行分级和隔离等等。本次深度揭秘苏宁建设 OLAP 引擎过程中如何运用各项技术解决问题的方案,以及过程中遇到的坑和优化方法。


演讲大纲


1、苏宁 OLAP 引擎概况;


2、OLAP 引擎架构;


3、特定业务解决方案;


4、技术挑战;


5、未来规划。


讲师介绍


赵云


苏宁科技集团 OLAP 平台负责人


现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着广泛使用经验和深刻的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推进苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提升各项指标数据的开发时间,减少各项人力和硬件成本。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019 年 8 月 11 日 00:001496

评论

发布
暂无评论
发现更多内容

设计模式

高兵

架构师训练营 - 学习笔记 - 第二周

徐时良

罗辑思维(得到APP)要上市了,你不知道的27件事

赵新龙

罗辑思维 IPO

第二周 框架设计 作业一

应鹏

极客大学架构师训练营

架构师训练营 - 命题作业 - 第二周

徐时良

架构师训练营 -week02- 作业

大刘

极客大学架构师训练营

第二周-学习总结

Yangjing

极客大学架构师训练营

第二周作业

极客大学架构师训练营

第二周作业1

sean

第二周 框架设计 学习笔记

应鹏

学习 极客大学架构师训练营

Week 2 作业 02

Croesus

VS Code 搭建 C++ 开发环境(Mac 环境)

hungxy

c++ vscode

架构师训练营第 2 周课后练习

叶纪想

极客大学架构师训练营

架构师训练营第一期 - 第二周课后作业

卖猪肉的大叔

架构师训练营 -week02- 总结

大刘

极客大学架构师训练营

Architecture Phase1 Week2:Framework Design

phylony-lu

极客大学架构师训练营

作业二

泡泡

甲方日常 23

句子

生活 随笔杂谈 减肥

第二周作业 (作业一)

Geek_83908e

极客大学架构师训练营

架构师训练营第 1 期 -Week2 - 课后练习

鲁小鲁

极客大学架构师训练营 依赖倒置原则 接口隔离原则 框架设计 软件设计原则

Serverless 的收益与挑战 | 2020年度状态报告

donghui2020

Serverless

架构师训练营 2 期 - 第二周总结

Geek_no_one

极客大学架构师训练营

第二周作业2

sean

架构师训练营第 1 期 - 第2周 - 学习总结

wgl

第二周作业及学习笔记

橘子皮嚼着不脆

架构一期二班-吴水金-第二课作业

吴水金

架构师训练营第二周作业

郎哲158

极客大学架构师训练营

作业一:

静海

架构师训练营第 1 期第二周学习总结

郑凯元

极客大学架构师训练营

Architecture Phase1 Week2:HomeWork

phylony-lu

极客大学架构师训练营

架构师训练营第二周笔记-带你认识框架设计原则和设计模式

郎哲158

学习 极客大学架构师训练营 框架设计

苏宁 OLAP 引擎发展之路-InfoQ