QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135715

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

Flutter提升开发效率的一些方法和工具,零基础入门学习android

android 程序员 移动开发

Fragment的使用,为什么有人说Android开发不再吃香

android 程序员 移动开发

GitHub标星8-3k的学习习惯,未来的Android高级架构师:别让这几个点毁了你

android 程序员 移动开发

Google 为什么以 Flutter 作为原生突破口,正式加入阿里巴巴

android 程序员 移动开发

Flutter的原理及美团的实践(中),直击优秀开源框架灵魂

android 程序员 移动开发

Fragment新功能,setMaxLifecycle了解一下,一文详解

android 程序员 移动开发

用技术变革传统康养行业,智慧养老的正确打开方式

华为云开发者联盟

IoT 华为云 康养 智慧养老 智慧康养物联网加速器

Gradle指南之从Groovy迁移到Kotlin,2021国内知名大厂Android岗面经

android 程序员 移动开发

模块二作业

@

HarmonyOS-Service&Android-Service,android开发零基础教学

android 程序员 移动开发

Flutter混合开发(三):Android与Flutter之间通信详细指南

android 程序员 移动开发

Fragment的通信,flutter通知推送

android 程序员 移动开发

Framework掌握不熟?字节跳动大牛带你系统化学习,成功定级腾讯T3-2

android 程序员 移动开发

Glide加载Gif的卡顿优化思路分析,android开发项目实例记事本

android 程序员 移动开发

Google大佬自述:天才程序员竟也有不为人知的秘密,看完真的学到了

android 程序员 移动开发

Gradle 提速:每天为你省下一杯喝咖啡的时间,移动app开发公司

android 程序员 移动开发

GooglePlay强推的Appbundle究竟是什么?aab?不优化代码直接减少安装包大小(1)

android 程序员 移动开发

HashMap 源码解析一、构造函数,kotlin插件

android 程序员 移动开发

IGG:Android内存回收机制原理是什么,flutterlistview滚动卡顿

android 程序员 移动开发

GitHub标星9,handler机制

android 程序员 移动开发

Handler-post和View-post的区别,android的开发语言

android 程序员 移动开发

IOC架构设计之控制反转和依赖注入(一),原理讲解

android 程序员 移动开发

Flutter这么火为什么不了解一下呢?(下,2020-2021京东Android面试真题解析

android 程序员 移动开发

Glide源码难看懂?用这个角度让你事半功倍!,移动端h5页面加载慢

android 程序员 移动开发

Flutter自适应瀑布流,深入浅出安卓开发

android 程序员 移动开发

HarmonyOS-Service&Android-Service(1),程序员中年危机

android 程序员 移动开发

HMS Core 5,Android开发教程

android 程序员 移动开发

GitHub标星5-3K【字节跳动大牛】手把手讲解-Android-Hook入门Demo

android 程序员 移动开发

Google又更新了:实战-MergeAdapter,hashmap底层原理

android 程序员 移动开发

pygame 读取一大堆图片进来,再获取一张图片上的那么一小块区域

梦想橡皮擦

11月日更

Gradle 庖丁解牛(构建生命周期核心委托对象创建源码浅析)

android 程序员 移动开发

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章