写点什么

Clickhouse 在快手的大规模应用与架构改进

  • 2020-02-05
  • 本文字数:585 字

    阅读完需:约 2 分钟

Clickhouse 在快手的大规模应用与架构改进

ArchSummit 北京 2019 大会上,李振炜讲师做了《Clickhouse 在快手的大规模应用与架构改进》主题演讲,主要内容如下。


演讲简介


Clickhouse 作为一款高性能 OLAP 引擎,在快手内部有大量的应用,但是随着 Clickhouse 集群的规模越来越大,原生 Clickhouse 扩展遇到了瓶颈,并且运维压力也很大。因此实现了 Clickhouse on HDFS 的架构,实现计算和存储分离,海量数据的管理依靠成熟的 HDFS 系统,同时保留 Clickhouse 优异的查询计算性能。Clickhouse on HDFS 上线之后,可以轻松扩展 Clickhouse 的集群规模,实现在海量数据下大规模推广应用。


内容大纲


  1. Clickhouse 在快手的应用现状

  2. Clickhouse on HDFS

  3. Clickhouse 的痛点

  4. Clickhouse on HDFS 的方案设计

  5. Clickhouse on HDFS 的对比测试

  6. 后续 Clickhouse 改进计划


听众受益点


  1. 了解 Clickhouse 在快手的应用场景

  2. 了解快手对 Clickhouse 的一些改进

  3. 分享 Clickhouse 在快手的实践,提供一些可借鉴经验


讲师介绍


李振炜


快手 数据平台部 大数据架构工程师


2015 年硕士毕业后进入奇虎 360,主要负责维护推广 Spark,经历了 Spark 在公司内部从 0 到 1 的发展,实现了 Hive 向 Spark SQL 的迁移;2018 年加入快手数据平台部数据架构组,目前主要负责 Clickhouse 在公司内部的推广与应用。有丰富的分布式计算系统在海量数据场景下的优化经验。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/beijing/schedule


2020-02-05 20:135810

评论 1 条评论

发布
用户头像
有开源的计划吗
2021-02-02 08:13
回复
没有更多了
发现更多内容

手把手教你华为鸿蒙开发之第五节

The Wang

haromny

DevEco Studio 实战第一节:字符串拼接与组件构建

The Wang

HarmonyOS NEXT

CSD5000:NVMe SSD在人工智能和数据中心基础设施中的范式转变

ScaleFlux

人工智能 数据中心 固态硬盘

虾皮根据关键词取商品列表API接口的开发应用与收益

科普小能手

API 跨境电商 虾皮 API 接口 虾皮API接口

边学边赛 等你来战 | 昇腾AI原生创新算子挑战赛华中科技大学专场赛完美收官

极客天地

非标自动化行业ERP选型与案例展示!

积木链小链

ERP

向量检索服务RAM授权

DashVector

人工智能 阿里巴巴 向量检索 大模型 向量数据库

XRP 深度解析:从技术到 Meme 币交易指南

TechubNews

技术人的话语权:做正确的事”真的比“正确地做事”更重要吗?

思码逸研发效能

DevOps 研发效能 效能管理 研发效能管理

向量检索服务关联角色

DashVector

人工智能 数据库 向量检索 大模型

手把手教你华为鸿蒙开发之第四节

The Wang

HarmonyOS NEXT

手把手教你华为鸿蒙开发之第三节

The Wang

HarmonyOS NEXT

DevEco Studio:状态管理与事件处理

The Wang

harmoyos

超详细HarmonyOS开发教程之开发环境搭建指南

The Wang

HarmonyOS NEXT

中小企业如何选择适合自己的MES系统

万界星空科技

数字化转型 生产管理系统 mes 万界星空科技 中小型制造业

HarmonyOS 5.0应用开发——Web组件的使用

高心星

鸿蒙Next ArkWeb Web组件

质变科技 AI-ready Data Cloud|如何做好半结构化数据分析

AI数据云Relyt

非结构化数据 数据分析、 AI-ready JsonB

Clickhouse 在快手的大规模应用与架构改进_ArchSummit_李振炜_InfoQ精选文章