在ArchSummit北京2018大会上,徐宏亮讲师做了《Uber 搭建基于 Kafka 的跨数据中心拷贝平台》主题演讲,主要内容如下。
演讲简介:
Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。
在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。
演讲提纲:
Uber 的跨数据中心 replication 用例
为什么 Uber 要开发 uReplicator
uReplicator 架构
Federated uReplicator 架构
听众受益点:
Uber 在用 MirrorMaker 时遇到的问题,并且如何用 uReplicator 解决;
了解 uReplicator 的架构及部署;
了解在开发 uReplicator 中遇到的跨数据中心 replication 的问题及解决方案。
讲师介绍:
徐宏亮
Uber Senior Software Engineer
毕业于清华大学和哥伦比亚大学。现就职于 Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2018/beijing/schedule
评论