QCon 全球软件开发大会(北京站)门票 9 折倒计时 4 天,点击立减 ¥880 了解详情
写点什么

360 多数据源混合查询引擎的前世今生

2019 年 8 月 17 日

360多数据源混合查询引擎的前世今生

ArchSummit深圳2019大会上,刘思源讲师做了《360 多数据源混合查询引擎的前世今生》主题演讲,主要内容如下。


演讲简介


数据驱动价值创造,而数据分析在价值创造过程起着核心作用。从传统的 OLTP 到 OLAP,再到数据湖,数据分析的方式发生很大的变化,尤其是目前大数据生态中,多场景的数据存储各显身手。不同的存储,不同的使用方式,数据分析的成本随之水涨船高。着力于降低数据分析人员分析数据的成本,360 大数据分析引擎也历经几次的架构调整和演进,从原始的命令行到界面化的单一数据源查询,最终发展为多数据源混合查询,期间遇到了很多问题以及挑战。


演讲提纲


介绍 360 大数据中心数据分析平台架构的演进、遇到的问题以及具体的应用场景实践:


  1. 360 数据分析场景

  2. 遇到的问题与挑战

  3. 解决⽅案与思路

  4. 引擎实践案例分享


听众受益点


  1. 可以了解数据湖解决方案;

  2. 多数据源混合分析引擎的架构设计原则;

  3. 大数据分析引擎在实战过程中碰到的问题和解决思路。


讲师介绍


刘思源


奇虎 360 大数据中心资深研发工程师


现负责交互式查询平台和数据联邦查询引擎的设计和研发,对大数据计算平台和微服务有深入研究。见证了 360 大数据平台从无到有,从单一到生态,从集成到服务化的演化过程。致力于推动 SQL 在大数据平台中多种场景的落地,Apache Calcite 贡献者。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019 年 8 月 17 日 00:005140

评论

发布
暂无评论
发现更多内容

Angular的遍历,默写一遍。

玉龙BB

前端 angular 前后端分离 集合

做成事情,唯有实干,没有捷径

Yolanda

程序猿 Windows 10 日常使用软件推荐

夏天

程序员 日常软件 windows

万物皆逝

冯夷

生活

一文学会设计模式

helloworld

c++ 互联网 极客 设计模式 架构模式

MongoDB入门笔记

编程随想曲

sql mongodb

Spring IOC 和 DI

再见孙悟空

spring

Windows中使用vagrant+virtual box创建Docker

Java收录阁

Docker vagrant

怎样打造用户喜爱的产品

孙苏勇

思考 产品设计 读书

如何表达自己的感情?

zkh

有问必答(2020-03-28):活着是为了什么?

冯夷

生活

小小说

冯夷

苟富贵,勿相忘

十三

有问必答(2020-04-23):为什么读书?怎么读书比较高效?

冯夷

你问我答

使用Kubeadm搭建Kubernetes集群

Java收录阁

Kubernetes k8s

疫情故事一则 | 庆祝北京应急响应调为二级

赵新龙

滴滴 顺风车

Block底层原理探析

Damien

ios 源码分析

Web3极客日报 #133

谢锐 | Frozen

区块链 技术社区 Rebase

从“中国GPL诉讼第一案”聊聊开源软件的license许可证

赵新龙

GitHub 开源 许可证

改变

一把梭

生活 随笔

有问必答(2020-04-24):如何做时间管理/任务管理?

冯夷

你问我答

在 VPS 里搭建 Drone CI 持续集成构建系统

Gadzan

Docker ci DevOps cicd 持续集成

没有了手机的诺基亚,过得远比你想象的要好

赵新龙

微软 手机 上市 诺基亚

设计一个地铁路线规划小工具

流沙

开源 后端

一篇文章教你服务器OOM后如何快速定位处理问题

Java OOM 系统故障

我的第一个 100K app

道哥

ios swift 自由职业 独立开发者 App

「颜值即正义」那些管UI小姐姐要来的网站

童欧巴

CSS 效率工具 前端 前端开发 UI

回"疫"录(7):关键时刻稳住别浪

小天同学

疫情 回忆录 现实纪录 纪实

技术“大跃进”进行中

冯夷

基础设施

Firefox浏览器背后的力量,Mozilla基金会的“生财”之道

赵新龙

firefox 开源 基金会

Web3极客日报 #132

谢锐 | Frozen

区块链 创业 独立开发者 技术社区 Rebase

边缘计算隔离技术的挑战与实践

边缘计算隔离技术的挑战与实践

360多数据源混合查询引擎的前世今生-InfoQ