写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001552

评论

发布
暂无评论
发现更多内容

去阿里/腾讯/字节面试P7Java岗时,需要掌握哪些技术栈?

Java架构师迁哥

新手模拟实现bind

前端树洞

面试 大前端 js this

流程即代码:低代码 & 云研发 IDE —— Uncode

Phodal

ide 云开发 云研发

a.docker

xujiangniao

Docker

EBean ORM 框架介绍-2.字段加密、更新日志和历史记录

Barry的异想世界

jpa Ebean 字段加密 更新日志 历史记录

Java--JVM内存结构

是老郭啊

Java JVM简介 JVM内存结构 JVM运行时数据区

阿里P9分享:基于JDK 8 源码剖析

Java架构师迁哥

野生程序员高考试卷,试试你能打多少分?

北游学Java

程序员 高考

2021上半年1000道大厂高频面试题汇总(Java岗)

Java架构师迁哥

外包3年凭借一手“秒杀架构”成功上岸阿里

Java架构师迁哥

C语言从入门到精通(一)

代码情缘

c++ 编程 开发 C语言 硬件开发

手滑党福音,意外删除重要文件怎么办?

淋雨

数据恢复 EasyRecovery 文件恢复

从事开发5年以上的Java程序员,面试会被问到哪些?

Java架构师迁哥

备战金九银十,2021年最全999道Java岗高频面试题分享

Java架构师迁哥

深入讲解RxJava响应式编程框架,背压问题的几种应对模式

小Q

Java 学习 编程 架构 面试

程序员必知的硬核基础知识

Java架构师迁哥

10次面试9次被刷?吃透这500道大厂Java高频面试题后,怒斩offer

Java 程序员 架构 面试

阿里分享:全网最详细的一篇SpringCloud总结

Java架构师迁哥

IDEA使用

xujiangniao

Java IDEA

阿里开源三天就被狂转50w次的《Java面试突击》限时下载!

Java架构师迁哥

Java中String类的前世今生

卢卡多多

Java string 6月日更

用了这么多年 Gitlab,可能还不了解这些知识

郭旭东

DevOps gitlab 极狐GitLabs

新思科技连续五年获Gartner魔力象限应用安全测试领导者殊荣

InfoQ_434670063458

新思科技 Gartner 魔力象限

C语言从入门到精通(二)

代码情缘

开发 C语言 编程、

计算机专业的应届生想进大厂做开发有多难?

Java架构师迁哥

拼搏26天刷完了阿里大佬的Java面试合集1000题,拿到了月薪30K的offer

Java 程序员 架构 面试

质量基础设施(NQI)“一站式”服务平台开发搭建

源中瑞-龙先生

NQI 质量基础设施“一站式”

深入浅出负载均衡

vivo互联网技术

负载均衡 高可用 服务器 hash

阿里架构师手肛6个月,总结出17W字操作系统、网络教程(导图+笔记)

Java架构师迁哥

架构解析|网易自研新一代大规模分布式传输网

网易云信

分布式 音视频

iOS APP 架构漫谈

iOSer

ios ios开发 iOS架构

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章