写点什么

快手万亿级实时 OLAP 平台的建设与实践

  • 2019-09-07
  • 本文字数:566 字

    阅读完需:约 2 分钟

快手万亿级实时 OLAP 平台的建设与实践

ArchSummit北京2018大会上,李远策讲师做了《快手万亿级实时 OLAP 平台的建设与实践》主题演讲,主要内容如下。


演讲简介


大数据场景下实时多维分析能力极大提升了公司对数据探索的效率。快手大数据架构团队采用开源 Druid+Superset 的方案建设公司万亿级别实时 OLAP 平台。平台上线半年已经接入近 2000 数据源,日摄入消息数达 5000 亿,平均查询时延百毫秒级,在质量监控、事件分析、A/B Test 等业务场景广泛使用。


本次分享会详细介绍快手 OLAP 平台的演进过程、平台的建设经验以及在大规模场景下遇到的问题和解决思路。


演讲提纲


  1. 快手 OLAP 平台背景和技术架构;

  2. 介绍平台建设中遇到的问题和解决思路;​

  3. 典型的多维分析案例介绍;

  4. 平台现存的痛点以及未来规划。


听众受益


  1. OLAP 平台主要解决哪些业务场景;

  2. 如何从 0 建设一个可以支撑万亿级别的实时 OLAP 平台;

  3. 在建设过程中会遇到哪些问题已经如何解决;

  4. 一起讨论 OLAP 平台未来的产品形态。


讲师介绍


李远策


快手科技 大数据平台架构师


快手大数据平台架构师,数据查询引擎团队负责人。负责公司 SQL 引擎、OLAP 引擎、多维可视化平台的研发以及在公司的应用。曾供职于奇虎 360,是开源项目 XLearning 的作者。主要研究领域包括分布式计算、OLAP 引擎、SQL on Hadoop、AI on Hadoop 等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 13:472069

评论

发布
暂无评论
发现更多内容

声网 VQA:将实时互动中未知的视频画质用户主观体验变可知

声网

人工智能 音视频

直播带货平台包含了直播和娱乐模块,你知道是什么吗?

开源直播系统源码

软件开发 直播带货系统

2022 开源软件安全状况报告:超41%的企业对开源安全没有足够的信心

SEAL安全

DevSecOps 开源安全 软件供应链 安全左移

《运营之光3.0》全新上市——跨越时代,自我颠覆的诚意之作!

博文视点Broadview

OpenHarmony应用开发之二维码生成器

坚果

鸿蒙 OpenHarmony OpenHarmony 3.1 Release 6月月更

要搞清楚什么是同步,异步,串行,并行,并发,进程,线程,协程

乌龟哥哥

6月月更

毕业总结

小虾米

「架构实战营」

SpringCloud - Ribbon核心源码解析

码农参上

微服务 SpringCloud spring 源码

如何使用 DataAnt 监控 Apache APISIX

API7.ai 技术团队

后端 监控 APISIX 网关 DataAnt

使用 ABAP 操作 Excel 的几种方法

汪子熙

microsoft Excel Office SAP 6月月更

面试官问:能否模拟实现JS的new操作符

若川

JavaScript 前端 前端开发

Scala 基础 (三):运算符和流程控制

百思不得小赵

scala 大数据 6月月更

JavaScript 对象所有API解析

若川

JavaScript 前端 前端开发

Prometheus 2.35.0 新特性

耳东@Erdong

release Prometheus 6月月更

在IDEA配置Tomcat你GET到了吗

迷彩

调试 IDEA tomcat构建 开发工具 Web 6月月更

行业分析| 快对讲,楼宇对讲

anyRTC开发者

音视频 快对讲 语音对讲 视频对讲 楼宇对讲

COSCon'22 讲师征集令

开源社

开源

一种低成本增长私域流量,且维护简单的方法

Geek_99967b

小程序 电商

面试官问:JS的this指向

若川

JavaScript 前端 前端开发

Ubuntu下安装OpenJDK10

程序员欣宸

Java Openjdk 6月月更

SpringCloud - Feign核心源码解析

码农参上

微服务 SpringCloud spring 源码

一种跳板机的实现思路

vivo互联网技术

权限 跳板机 PAM机制

fastposter v2.8.4 发布 电商海报生成器

物有本末

海报生成器 电商海报 海报生成 图片合成

2022中国信通院首届业务与应用安全发展论坛成功召开!

中国IDC圈

web前端培训Node.js 如何连接到 PostgreSQL 数据库

@零度

node.js 前端开发

如何系统学习LabVIEW?

不脱发的程序猿

​LabVIEW LabVIEW机器视觉 ​LabVIEW工业控制 ​LabVIEW单片机 ​LabVIEW开发技巧

设计电商秒杀系统

小虾米

「架构实战营」

Fabric.js 笔刷到底怎么用?

德育处主任

canvas 前端可视化 画布 FabricJS 6月月更

智联招聘基于 Nebula Graph 的推荐实践分享

NebulaGraph

知识图谱 Nebula Graph

setInterval、setTimeout和requestAnimationFrame

源字节1号

软件开发

如临现场的视觉感染力,NBA决赛直播还能这样看?

阿里云CloudImagine

音视频 直播 音视频直播 直播解决方案

快手万亿级实时 OLAP 平台的建设与实践_ArchSummit_李远策_InfoQ精选文章