写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441802

评论

发布
暂无评论
发现更多内容

中小企业如何选择远程办公网络方案?蒲公英更具优势!

科技热闻

阿里云FC-Serverless-Wordpress

指剑

阿里云 Serverless 11月月更

利用FreeNas创建iSCSI块级存储

指剑

centos 11月月更 freenas

(八)OpenStack---M版---双节点搭建---Cinder安装和配置

指剑

centos OpenStack 11月月更

企业号12月PK榜,等你参与!

InfoQ写作社区官方

热门活动

云安全系列4:解析云安全工具集

HummerCloud

云计算 云安全

为什么mysql不推荐使用雪花ID作为主键

京东科技开发者

MySQL 数据 雪花id 主键 自增

参加大数据培训学习还来得及吗

小谷哥

Linux安装Hbase并验证

指剑

centos HBase 11月月更

企业网络“卫生”实用指南

SEAL安全

企业安全

“读懂人话”,阿里AI总分首次超越人类成绩

云布道师

人工智能 阿里云

DTSE Tech Talk 第13期:Serverless凭什么被誉为未来云计算范式?

华为云开发者联盟

云计算 后端 华为云

MobPush 推送查询API

MobTech袤博科技

SAP 异常现象之同一个IDoc可以被POST两次触发2张不同的物料凭证

SAP虾客

SAP IDoc BD87

嵌入式系统概述及特点

timerring

嵌入式 11月月更

我们又重写了一个关键服务

Zilliz

人工智能 Milvus 向量数据库

FreeNas安装、初始化和存储池设置

指剑

centos 11月月更 freenas

看知识图谱如何解锁隐藏的营销利器

Neo4j 图无处不在

算法 neo4j 图数据库 知识图谱 图数据

云小课|云小课教您如何选择Redis实例类型

华为云开发者联盟

云计算 后端 华为云

为什么我推荐用户故事地图?

ShineScrum

Scrum PO 用户故事地图

一个小而美的项目如何进行跨端选型

Onegun

移动端 跨端开发

(七)OpenStack---M版---双节点搭建---Dashboard安装和配置

指剑

centos OpenStack 11月月更

效能工具如何在企业规模化落地?|线上沙龙回顾

万事ONES

K3S +Helm+NFS最小化测试安装部署只需十分钟

京东科技开发者

Docker k8s 软件测试 k3s 应用程序

如何通过链路追踪进行定时任务诊断

阿里巴巴云原生

阿里云 云原生 SchedulerX

(九)OpenStack---M版---双节点搭建---Swift安装和配置(单存储节点)

指剑

centos OpenStack 11月月更

教你用JavaScript实现计数器

小院里的霍大侠

JavaScript 编程开发 初学者 入门实战

3.面向复杂度的架构设计模式

程序员小张

「架构实战营」

AI技术实践|用腾讯云慧眼微信浮层H5解决黄牛抢票问题

牵着蜗牛去散步

人工智能 腾讯云 腾讯 腾讯云AI

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

Serverless Devs

我代码就加了一行log日志,结果引发了P1的线上事故

小小怪下士

Java 程序员 log 代码

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章