写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001479

评论

发布
暂无评论
发现更多内容

Disruptor 源码解读

lich0079

Java volatile Disruptor CAS Concurrent

阿里资深技术专家崮德:如何成就更好的自己

阿里巴巴中间件

第一课作业纠正

杰语

我是如何开始写作的

happlyfox

个人成长 4月日更 1 周年盛典

双非渣硕!四面阿里收到offer后,才发现学长给的面试笔记有多强大

Java 编程 程序员 面试 计算机

anyHouse-iOS 高仿ClubHouse

anyRTC开发者

ios 音视频 WebRTC RTC 语音通话

罗美琪和春波特的故事...

阿里巴巴云原生

容器 开发者 云原生 开发工具 消息中间件

想要写优秀的设计测试用例,不懂这个可不行!

程序员阿沐

软件测试 自动化测试 测试开发 测试用例 测试工程师

Spring Boot 2.0 实现优雅停机

U2647

Spring Boot 4月日更

混合云安全简史

龙归科技

混合云

留存率计算

Flychen

Spring Boot 两行代码轻松实现国际化

Java架构师迁哥

如何打造高效技术团队|专访前美篇首席架构师张超

穿过生命散发芬芳

调查采访能力考核

Fluid 给数据弹性一双隐形的翅膀 -- 自定义弹性伸缩

阿里巴巴云原生

大数据 容器 云原生 监控 弹性计算

Android Crash监控方式

Darren

监控 异常检测 Android开发 NativeCrash

联盟链技术

360技术

会议更流畅,表情更生动!视频生成编码 VS 国际最新 VVC 标准

阿里云视频云

阿里云 视频压缩 VVC

国产监控夜莺v4来了,大幅降低部署维护难度

秦晓辉

Nightingale 滴滴夜莺

企业架构设计方法TOGAF介绍

joinM

企业架构 技术架构 业务架构 TOGAF 技术与业务

iOS 面试策略之算法基础6-7节

iOSer

ios 面试 算法 ios开发 算法解析

DBA 行业是否将会消亡?

BinTools图尔兹

运维 dba 数据库管理工具

toB SaaS会成为苏州下⼀个“⼀号产业”么?

龙归科技

数字化 tob

灰度发布系统架构设计

xcbeyond

微服务 灰度发布 4月日更

pdf.js使用小结

空城机

大前端 4月日更 pdf.js

从Map和Reduce角度谈Hive优化

五分钟学大数据

hive 4月日更 hive性能优化

当时尚撞上区块链,为潮酷创意赋予专属“ID”

旺链科技

产业链

skywalking dubbo agent 分析

kaiwen

MySQL 表列数和行大小有哪些限制?

码农架构

MySQL 运维

⼤规模短⽂本聚类的设计和实践

百度Geek说

聚类 query 内聚

用知识点+实例+项目完全深入地讲解springboot原理,这份《springboot实战派》火了!

Java架构之路

Java 程序员 架构 面试 编程语言

中寰-卜钢-采访提纲:车联网行业发展趋势

马踏飞机747

采访

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章