写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135736

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

队列实现栈的3种方法,全都击败了100%的用户!

王磊

Java 算法和数据结构

训练营第二周课程总结

爱码士

训练营

轻量型GPU应用首选 京东智联云推出NVIDIA vGPU实例

京东科技开发者

人工智能 gpu

Go 与异步 IO - io_uring 的思考

IceberGu

Linux 异步IO io_uring Go 语言

JAVA魅力之神奇的数组带给你不一样的乐趣

小Q

Java 学习 架构 面试 数组

java安全编码指南之:文件和共享目录的安全性

程序那些事

代码规范 java安全 java安全编码指南 java编码 程序那些事

1分钟教你如何整理 React 知识体系

Leo

学习 大前端 React

【架构师训练营 1 期】第六周学习总结

诺乐

Scrapy 源码剖析(四)Scrapy如何完成抓取任务?

Kaito

Python 爬虫 Scrapy 源码剖析

训练营第二周作业

爱码士

酷睿i5-10600KF对标锐龙7 3700X,游戏表现领先且售价更香

E科讯

网络直播打赏背后的套路:刺激用户不理智消费

石头IT视角

Java-技术专题-时间工具类的使用方案

洛神灬殇

阿里二面惨败,痛定思痛狂刷1000+面试题,成功五面上岸滴滴(面经+面试题分享)

Java架构追梦

Java 架构 腾讯 面试 蚂蚁金服

老板下了死命令,要把日志系统切换到Logback

沉默王二

Java logback 日志系统

【架构师训练营 1 期】第六周作业

诺乐

元模型驱动(一)构建元模型ーGME入门

KaYa

DDD Kaya MDA GME MDD

元模型驱动(二)构建元模型ーGME构建分层模型

KaYa

DDD Kaya MDA GME MDD

为什么 React Hooks 优于 HOCs(译)

西贝

Java 翻译 React Hooks HOC

Redis还可以做哪些事?

Java旅途

redis

从零实现一个动态表单设计(编辑)器

徐小夕

Java 编辑器 H5 Node React

接口测试(apipost、jmeter和python脚本)

测试人生路

Python 接口测试 测试工具

基于服务设计的线上展览

京东科技开发者

云安全

架构师训练营第 1 期第 7 周作业

业哥

给打工人熬一锅「毒」鸡汤

Java_若依框架教程

程序员 打工人 毒鸡汤

Scrapy 源码剖析(三)Scrapy有哪些核心组件?

Kaito

Python 爬虫 Scrapy 源码剖析

进“大厂”的故事

北风

职业规划 职业成长 大厂

面试官:讲一下缓存穿透、缓存雪崩和缓存击穿?

bigsai

redis 缓存穿透 缓存击穿 缓存雪崩

TCP/IP 基础知识总结

苹果看辽宁体育

后端 计算机网络 计算机

5G应用的实时决策

VoltDB

5G 物联网 工业互联网 技术分享

Flink State 误用之痛,你中招了吗?

Apache Flink

flink

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章