QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

腾讯实时流计算平台演进之路

  • 2019-08-06
  • 本文字数:696 字

    阅读完需:约 2 分钟

腾讯实时流计算平台演进之路

QCon北京2019大会上,杨华讲师做了《腾讯实时流计算平台演进之路》主题演讲,主要内容如下。


演讲简介


腾讯实时计算团队为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入的数据峰值达到了 2.1 亿条,每天接入的数据量达到了 17 万亿条,每天的数据增长量达到了 3PB,每天需要进行的实时计算量达到了 20 万亿次。


随着业务规模不断扩大,业务需求不断增多,原先基于 Storm 构建的实时计算平台遇到了很多问题。在此背景下,我们选择用 Flink 替换 Storm 作为新一代的实时流计算引擎,我们对社区版的 Flink 进行了深度的优化,并在此之上构建了一个集开发、测试、部署和运维于一体的一站式可视化实时计算平台——Oceanus;同时,我们也基于 Oceanus 向云端客户提供了流计算服务——Stream Compute Service,应用到电商、游戏、互联网金融等泛互联网企业客户。本分享我们会介绍腾讯流计算技术的演进过程,产品化及云端对外服务进展。

听众受益

  1. 为什么要实时计算引擎从 Storm 替换成 Flink;

  2. 我们在使用社区版的 Flink 时遇到了哪些问题,做了哪些改进与增强;

  3. 腾讯实时计算平台提供了哪些功能特性来简化用户构建流计算应用复杂度;

  4. 腾讯实时计算平台后续的功能、特性预览。


讲师介绍


杨华


腾讯 大数据高级工程师


杨华(vinoyang)腾讯大数据高级工程师,参与腾讯实时流计算平台 Oceanus 底层 Flink 引擎的研发与维护,经历了 Flink 在腾讯从零开始落地到目前支撑日均近 20 万亿消息处理规模的全过程。拥有多年的分布式、大数据系统研发经验,Flink 国内较早的布道者之一,也是 Flink 及多个 Apache 项目的长期活跃贡献者。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-06 08:001545

评论

发布
暂无评论
发现更多内容

超全MySQL笔记整理(面试题+笔记+思维导图),面试再也不怕被MySQL难倒了

Java架构追梦

Java java面试 后端开发

共建开源组件生态 2022 OpenHarmony组件大赛等你来

科技汇

企评家帮你打造企业价值评估,全面展示企业实力地位完善企业管理

企评家

Curve 基于 Raft 的写时延优化

网易数帆

开源 分布式 云原生 raft 存储

时序数据库在核电安全领域的应用

CnosDB

IoT 时序数据库 开源社区 CnosDB infra

自助共享洗车加盟都有什么条件

共享电单车厂家

自助洗车加盟条件 自助共享洗车加盟

实时云渲染有哪些优势?

3DCAT实时渲染

实时云渲染

云VR的未来发展方向

3DCAT实时渲染

云VR

企评家|高升控股股份有限公司成长性报告简述

企评家

企业评价 企业成长性 评价分析报告

立足西安,昇腾AI为开发者留下了脚印一串

这不科技

火山引擎荣获中国信通院“2021边缘计算融合创新奖”

火山引擎边缘云

边缘计算 中国信通院

绝艺学会打麻将,腾讯AI Lab提出全新策略优化算法ACH

科技热闻

24小时无人自助洗车设备多少钱

共享电单车厂家

自助洗车机价格 24小时无人自助洗车 自助洗车设备多少钱

24小时智能洗车机多少钱一台

共享电单车厂家

自助洗车机价格 24小时智能洗车机 智能洗车机多少钱

Laxcus 6.0正式发布,启航国产化分布式操作系统新征程

LAXCUS分布式操作系统

数据库 大数据 分布式 操作系统 集群

MOSN 1.0 发布,开启新架构演进

SOFAStack

开源 开发者 云原生 资讯 Go 语言

字节跳动Java后端岗,三轮面试,四个小时,灵魂拷问,结局我哭了但下次还敢

Java架构追梦

Java 程序员 后端开发 字节面试

啃完阿里工程师的Java面试八股文,斩获腾讯等6家大厂offer!

Java架构追梦

Java 后端开发 Java八股文

电子版产品手册如何制作?简单的方法来了

小炮

产品宣传手册

一起看看自助洗车机投放场地怎么选

共享电单车厂家

自助洗车加盟 自助洗车机投放 自助洗车场地

免费ETL批量调度,数据仓库运维工具TASKCTL 8.0 环境使用安装

敏捷调度TASKCTL

大数据 DevOps 敏捷开发 ETL 自动化运维

云原生环境下的日志采集、存储、分析实践

火山引擎开发者社区

云原生 日志

企评家帮助新三板企业进行投资价值评价分析

企评家

火山引擎联合中国信通院发布《边缘云总体技术与测试要求》

火山引擎边缘云

边缘计算 标准化

Kruise Rollout: 让所有应用负载都能使用渐进式交付

阿里巴巴云原生

阿里云 开源 Kubernetes 云原生 OpenKruise

SIG 直播:如何使用 SMC-R 透明加速 TCP 应用? | 第15期

OpenAnolis小助手

TCP 龙蜥大讲堂 SMC-R SIG双周会

CI/CD概述,基于云效进行持续集成CI和持续部署CD(K8s)

阿里云云效

云计算 阿里云 持续集成 CI/CD 持续部署

智能家居新浪潮 物联网潜力无限

Geek-peri

小程序 物联网 智能家居

自助洗车怎么加盟?加盟流程介绍

共享电单车厂家

自助洗车加盟 自助洗车怎么加盟 自助洗车加盟流程

暴打力扣:王者级《数据结构与算法笔记》,一路绿灯进字节Java岗

Java架构追梦

Java 算法 java面试 后端开发

Next.js 在 Serverless 中从踩坑到破茧重生

CODING DevOps

Serverless 云开发 Cloud Studio 云端工作台

腾讯实时流计算平台演进之路_语言 & 开发_杨华_InfoQ精选文章