在QCon北京2018大会上,翟佳讲师做了《Apache Pulsar – 实时数据处理中消息、计算和存储的统一》主题演讲,主要内容如下。
演讲简介:
实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing 和 Storage 三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。
本次演讲将介绍 Apache Pulsar,并展示 Apache Pulsar 怎样从这三个方面,提供一个端到端的实时数据解决方案。
Messaging:Pulsar 对 pub/sub 和 queue 两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。
Computing:Pulsar 内部的 Pulsar-Functions 提供了 Stream-native 的轻量级计算框架,保证了数据的即时流式处理。
Storage:Pulsar 借助 Apache BookKeeper 提供了以 segment 为中心的存储架构,保证了存储的性能,持久性和弹性。
Apache Pulsar 在 2016 年开源,是 Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准 OpenMessaging 的重要成员。希望通过这次分享,能够为大家带来对 Apache Pulsar 及其生态系统有更好的理解,和对 pub/sub 消息系统,实时处理系统的更多的认识。
听众受益
了解实时处理的三部分的特点和需求;
理解 Apache Pulsar 的特性和优势。
讲师介绍:
翟佳
Streamlio 核心创始成员之一
翟佳毕业于中科院计算所,目前就职于一家下一代实时处理初创公司 Streamlio,是 Streamlio 的核心创始成员之一。在此之前任职于 EMC,是北京 EMC 实时处理平台的技术负责人。
主要从事实时计算和分布式存储系统的相关开发,是开源项目 Apache BookKeeper PMC Member 和 Committer,也在 Apache Pulsar, Distributedlog 等项目中持续贡献代码。
完整演讲 PPT 下载链接:
https://qcon.infoq.cn/2018/beijing/schedule
评论