HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441780

评论

发布
暂无评论
发现更多内容

「技术人生」第8篇:如何画业务大图

阿里巴巴中间件

阿里云 云原生 技术文章

过去一周区块链热点回顾|BAYC项目具有被无限铸币的风险

区块链前沿News

Hoo

使用IDE并不是懒癌表现

Geek_99967b

小程序 小程序容器

linux中删除特殊文件

入门小站

Linux

2022年SaaS行业十大趋势:SaaS的新机遇有哪些?

小炮

孙勇男:实时视频 SDK 黑盒测试架构丨Dev for Dev 专栏

声网

自动化测试 Dev for Dev

每日一题 | LeetCode 1 两数之和

武师叔

Python 算法 JAV A Leet Code 6月月更

Flutter 利用 Redux 中间件完成购物清单离线存储

岛上码农

flutter ios 前端 安卓开发 6月月更

红利、辛苦钱、利润和工资【读书笔记】

FunTester

互联网电商项目天花板,从立项到交付快速落地,真正帮你解决大型互联网项目经验欠缺的短板

Java全栈架构师

程序员 面试 项目 架构设计 程序员进阶

FinClip2022重要功能汇总

Speedoooo

微信小程序 APP开发 小程序容器 微信登录

阿里6月终于有HC了!耗时两月足足面试13轮成功入职阿里!拿到32*15Offer

Java全栈架构师

Java spring 程序员 面试 程序人生

InfoQ 极客传媒 15 周年庆征文|聊聊 Kafka:Kafka 如何保证一致性

老周聊架构

kafka 架构 云原生 6月月更 InfoQ极客传媒15周年庆

Hexo + Github从零搭建个人博客

梁歪歪 ♚

Hexo 博客搭建

5分钟了解SDN控制平面

穿过生命散发芬芳

SDN网络 6月月更

PC端实现运营小程序,是否能再创PC时代又一春!

Geek_99967b

小程序 小程序转app

企业网站如何快速被搜索引擎收录

源字节1号

面试官:执行一条 SQL 语句,期间会发生什么?

Java全栈架构师

Java MySQL 数据库 程序员 面试

华为云AppCube带你5分钟开发微信小程序

乌龟哥哥

6月月更

App中快速复用微信登录授权的一种方法

Speedoooo

APP开发 微信授权 微信登录

scp 高效操作之避免 zsh 路径展开

Nick

Linux zsh 6月月更 高效操作 scp

leetcode 51. N-Queens N 皇后(困难)

okokabcd

LeetCode 搜索 算法与数据结构

Java设计模式学习总结

梁歪歪 ♚

设计模式

深入浅出-如何安全的传输密码

梁歪歪 ♚

加密

让开发效率飞速提升的跨端开发神器

Geek_99967b

小程序 小程序容器

Flutter的整体架构

Geek_99967b

小程序 小程序容器

LabVIEW控制Arduino采集热电偶温度数值(进阶篇—2)

不脱发的程序猿

单片机 LabVIEW Arduino VISA 采集热电偶温度数值

Disruptor 高性能堆内队列 系列一

Nick

Java Disruptor 队列 高性能 6月月更

InterpreterPattern-解释器模式

梁歪歪 ♚

设计模式

跨平台方案的比较

Geek_99967b

小程序 小程序容器

答应我:监听日志文件变化的这三种方法你一定要会!推荐第三种!

Java全栈架构师

Java 程序员 面试 IDEA 代码人生

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章