「如何实现流动式软件发布」线上课堂开课啦,快来报名参与课堂抽奖吧~ 了解详情
写点什么

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

2019 年 8 月 22 日

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

QCon北京2018大会上,翟佳讲师做了《Apache Pulsar – 实时数据处理中消息、计算和存储的统一》主题演讲,主要内容如下。


演讲简介


实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing 和 Storage 三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。


本次演讲将介绍 Apache Pulsar,并展示 Apache Pulsar 怎样从这三个方面,提供一个端到端的实时数据解决方案。


Messaging:Pulsar 对 pub/sub 和 queue 两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。


Computing:Pulsar 内部的 Pulsar-Functions 提供了 Stream-native 的轻量级计算框架,保证了数据的即时流式处理。


Storage:Pulsar 借助 Apache BookKeeper 提供了以 segment 为中心的存储架构,保证了存储的性能,持久性和弹性。


Apache Pulsar 在 2016 年开源,是 Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准 OpenMessaging 的重要成员。希望通过这次分享,能够为大家带来对 Apache Pulsar 及其生态系统有更好的理解,和对 pub/sub 消息系统,实时处理系统的更多的认识。


听众受益

  1. 了解实时处理的三部分的特点和需求;

  2. 理解 Apache Pulsar 的特性和优势。


讲师介绍


翟佳


Streamlio 核心创始成员之一


翟佳毕业于中科院计算所,目前就职于一家下一代实时处理初创公司 Streamlio,是 Streamlio 的核心创始成员之一。在此之前任职于 EMC,是北京 EMC 实时处理平台的技术负责人。


主要从事实时计算和分布式存储系统的相关开发,是开源项目 Apache BookKeeper PMC Member 和 Committer,也在 Apache Pulsar, Distributedlog 等项目中持续贡献代码。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019 年 8 月 22 日 00:006774

评论

发布
暂无评论
发现更多内容

TcaplusDB x 王者荣耀|五五开黑节,我们无惧挑战!

TcaplusDB

数据库 nosql TcaplusDB

springboot整合activiti自带在线流程编辑器,整个程序源码,请假审批

金陵老街

前端 工作流 ERP Activiti spring-boot 2.5.4

如何短时间突击 Java 通过面试?

Java架构师迁哥

TcaplusDB君 · 行业新闻汇编(8月7日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB X 光与夜之恋,来谈一场高沉浸式的恋爱吧

TcaplusDB

数据库 nosql TcaplusDB

现在动手玩转腾讯游戏核心数据库!TcaplusDB华东客户Hands-on活动

TcaplusDB

数据库 nosql TcaplusDB

快手基于 Flink 构建实时数仓场景化实践

Apache Flink

flink 解决方案 实时数仓架构 快手

PyFlink 开发环境利器:Zeppelin Notebook

Apache Flink

Zeppelin notebook pyflink 开发环境利器

PyFlink 开发环境利器:Zeppelin Notebook

阿里云大数据AI技术

关于数据库应用的一些思考

石云升

数据库 8月日更

为什么Kafka的数据不写了?

BUG侦探

DNS gopack Linux操作系统

TcaplusDB数据库 X《大主宰:大千世界》,战斗永不停歇

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月11日)

TcaplusDB

数据库 nosql TcaplusDB

如何搭建SpringcloudAlibaba基础环境(一)

燃着的半支烟

微服务 Java 8

腾讯云TcaplusDB携手《穿越火线》亮相IGS大会腾讯云游戏&新文娱分论坛

TcaplusDB

数据库 nosql TcaplusDB

数据库准实时数据同步平台成为新引擎,山西证券携手DataPipeline跑出加速度

DataPipeline数见科技

TcaplusDB X 黎明觉醒,探索不止,黎明将至

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB X 光与夜之恋|你的恋爱我来守护

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月10号)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月9日)

TcaplusDB

数据库 nosql TcaplusDB

服务全球用户,EMQ X Cloud 新增欧洲部署支持

EMQ映云科技

服务器 mqtt 部署与维护 Cloud emq

Linux内核内存管理:地址转换和MMU

Linux服务器开发

操作系统 内存管理 Linux内核 内核开发 地址转换

5月26日来IGS大会腾讯云游戏&新文娱分论坛和TcaplusDB约会吧!

TcaplusDB

数据库 nosql 腾讯云

技术盘点:Unity SDK 开发中有哪些大坑?

环信

TcaplusDB君 · 行业新闻汇编(8月12日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB x 和平精英 ,两周年生日快乐!

TcaplusDB

数据库 nosql TcaplusDB

又上新台阶!腾讯云TcaplusDB &与华为鲲鹏完成兼容性认证

TcaplusDB

数据库 nosql TcaplusDB

为联邦学习互信提供“技术解”,星云Clustar荣获FTL-IJCAI 21 最佳应用论文奖

星云Clustar

联邦学习 论文 IJCAI 纵向联邦学习 联邦学习互信

SmartNews:基于 Flink 加速 Hive 日表生产的实践

Apache Flink

flink hive airflow

TcaplusDB君 · 行业新闻汇编(8月8日)

TcaplusDB

数据库 nosql TcaplusDB

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一-InfoQ