高可用分布式流数据存储设计

在QCon北京2019大会上，李玥讲师做了《高可用分布式流数据存储设计》主题演讲，主要内容如下。

演讲简介：

每天，超过千亿交易相关的数据在京东数千个系统中高速流转。实现数据流在超大规模集群系统之间高性能流转同时，确保数据的高可靠、高可用、一致性对京东的消息中间件系统是一项艰巨的技术挑战。

高性能、高可用、高可靠的流数据存储提供数据持久化能力，是未来分布式计算不可或缺的基础设施之一。其不仅用于构建分布式消息中间件，在诸多计算场景中均有广泛的应用：

1. 结合流计算框架构建下一代存储计算分离的可靠流计算应用；

2. 大数据系统中构建可靠的 Connector，用于连接数据源和大数据应用以及大数据应用之间的数据互联；

3. 用于海量日志和监控数据的存储；

4. 通过 Binlog 复制实现各类数据库和存储类系统的高可用架构。

本次演讲的主要介绍了京东高可用分布式流数据存储系统的架构，内容涵盖：

1. 流数据存储集群的高可用架构设计；

2. 数据强一致性保证：改进于 Raft 的流数据选举和复制机制；

3. 理解数据流的特性和针对性性能优化手段。

听众收益

1. 如何利用流数据存储构建高可靠分布式应用；

2. 基于 Raft 设计去中心化、强一致分布式系统的要点；

3. 使用 CAS 原语替代锁实现单节点百万级 TPS 的设计思路；

4. 高性能流数据存储设计中的 IO 优化思路和最佳实践。

讲师介绍：

李玥

京东集团 中台技术架构部资深架构师

李玥，京东集团中台技术架构部资深架构师。负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储，分布式实时计算、高可用分布式系统架构等技术领域。从事互联网研发、架构 10 余年，曾在浪潮集团、当当网等公司任职架构师相关工作。2017 年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。目前致力于推进京东基础架构技术的创新、对外赋能与开源。

完整演讲 PPT 下载链接：

https://qcon.infoq.cn/2019/beijing/schedule