在 ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。
演讲简介:
Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。
内容大纲:
Clickhouse 在快手的应用现状
Clickhouse on HDFS
Clickhouse 的痛点
Clickhouse on HDFS 的方案设计
Clickhouse on HDFS 的对比测试
后续 Clickhouse 改进计划
听众受益点:
了解 Clickhouse 在快手的应用场景
了解快手对 Clickhouse 的一些改进
分享 Clickhouse 在快手的实践,提供一些可借鉴经验
讲师介绍:
李振炜
快手 数据平台部 大数据架构工程师
2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2019/beijing/schedule
评论 1 条评论