写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135646

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

2022年的魔力象限领导者,为什么是华为数通?

白洞计划

华为

ZBC即将登录Coinbase Institutional,生态开年迎新利好

西柚子

华为云发布CodeArts Req需求管理工具,让需求管理化繁为简

科技怪授

华为云

ZBC即将登录Coinbase Institutional,生态开年迎新利好

股市老人

软件测试/测试开发 | 接口自动化测试之JSON Schema模式该如何使用?

测试人

软件测试 接口测试 测试开发 JSON Schema 测试开发自动化测试

90%开发都会忽略的性能调优点:针对返回大数据量的接口,10分钟内找到提升带宽瓶颈的突破口

KINDLING

Java 性能调优 响应时间 ebpf 排障

推荐一款较好的小程序管理平台

FinFish

小程序 小程序管理平台 小程序管理

揭开华为云CodeArts TestPlan启发式测试设计神秘面纱!

科技怪授

华为云

「Go框架」剖析iris中错误码路由的运行机制

Go学堂

golang 开源 个人成长 签约计划第三季

“会说话”的产品包装?“码”上查看!

旺链科技

区块链 区块链技术 区块链溯源

高效节能 | 智慧灯杆综合管理解决方案

AIRIOT

物联网 智慧灯杆

【Dubbo3终极特性】「流量治理体系」一文教你如何搭建Dubbo3的控制台服务Dubbo-Admin

洛神灬殇

dubbo RPC Dubbo3 Dubbo-Admin

标准发布 |《企业数字化成熟度模型IOMM》(中小企业)发布

信通院IOMM数字化转型团队

数字化转型 IOMM ICT深度观察

华为云服务治理 | 微服务常见故障模式

IT科技苏辞

数据中心的浪浪山

脑极体

Linux Radix Tree详解

Linux内核拾遗

数据结构 Linux内核 Radix Tree

华为云服务治理 | 服务治理的一般性原则

与时俱进的时代

ZBC即将登录Coinbase Institutional,2023年以全新姿态出发

BlockChain先知

ZBC即将登录Coinbase Institutional,生态开年迎新利好

鳄鱼视界

一种面向业务配置基于JSF广播定时生效的工具

京东科技开发者

jdk 后段技术 企业号 1 月 PK 榜 ducc jsf

业务-研发一体化管理平台,存在吗?

FinFish

小程序 小程序管理平台 小程序技术

华为云服务治理 — 隔离仓的作用

秃头也爱科技

DCS分布式缓存服务实例类型介绍

秃头也爱科技

简述JavaScript键盘事件

devpoint

JavaScript 事件监听 事件冒泡 键盘事件

代码影响范围工具探索

京东科技开发者

测试 源代码 企业号 1 月 PK 榜 代码影响范围

Datawhale学习笔记【阿里云天池 金融风控-贷款违约预测】task1 赛题理解

一颗小树

机器学习 机器学习笔记

大型软件通过“云应用”即点即用,能解决元宇宙的开发之难吗?

B Impact

2022 年行摄回忆录

穿过生命散发芬芳

盘点2022 行摄回忆录

华为云代码检查插件(CloudIDE版本)使用指南

与时俱进的时代

华为云发布CodeArts Check代码检查服务,守护软件质量和安全

IT科技苏辞

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章