在ArchSummit北京2018大会上,张亮讲师做了《滴滴亿级 TPS 数据通道架构实践》主题演讲,主要内容如下。
演讲简介:
滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。
本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。
演讲提纲:
1、问题与挑战
问题
挑战
2、架构与优化
2.1 架构 1.0–简单、快
2.1.1 架构关注点
2.1.2 架构图
2.1.3 存在的问题
2.2 架构 2.0–稳定、易用
2.2.1 架构关注点
2.2.2 架构图
2.2.3 存在的问题
2.3 架构 3.0–及时、完整
2.3.1 架构关注点
2.3.2 架构图
3、总结与规划
听众受益:
如何打造亿级 TPS 的实时数据通道,架构设计背后的思考,平台化建设的思路
如何保障数据的及时性、完整性
如何进行数据链路的延时与故障检测
如何进行故障的快速恢复
如何进行全局性的限流与降级
讲师介绍:
张亮
滴滴出行 高级技术专家
2014 年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka 服务,数据检索服务的架构设计与研发工作,峰值流量 10GB/S,日增数据 800TB。
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2018/beijing/schedule
评论