在ArchSummit深圳2019大会上,刘思源讲师做了《360 多数据源混合查询引擎的前世今生》主题演讲,主要内容如下。
演讲简介:
数据驱动价值创造,而数据分析在价值创造过程起着核心作用。从传统的 OLTP 到 OLAP,再到数据湖,数据分析的方式发生很大的变化,尤其是目前大数据生态中,多场景的数据存储各显身手。不同的存储,不同的使用方式,数据分析的成本随之水涨船高。着力于降低数据分析人员分析数据的成本,360 大数据分析引擎也历经几次的架构调整和演进,从原始的命令行到界面化的单一数据源查询,最终发展为多数据源混合查询,期间遇到了很多问题以及挑战。
演讲提纲:
介绍 360 大数据中心数据分析平台架构的演进、遇到的问题以及具体的应用场景实践:
360 数据分析场景
遇到的问题与挑战
解决⽅案与思路
引擎实践案例分享
听众受益点:
可以了解数据湖解决方案;
多数据源混合分析引擎的架构设计原则;
大数据分析引擎在实战过程中碰到的问题和解决思路。
讲师介绍:
刘思源
奇虎 360 大数据中心资深研发工程师
现负责交互式查询平台和数据联邦查询引擎的设计和研发,对大数据计算平台和微服务有深入研究。见证了 360 大数据平台从无到有,从单一到生态,从集成到服务化的演化过程。致力于推动 SQL 在大数据平台中多种场景的落地,Apache Calcite 贡献者。
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2019/shenzhen/schedule
评论