Kafka 系统在快手有着很广泛的应用,除作为消息队列服务于快手三大 Tab 页、上传、支付等在线核心服务之外,还作为数据交换中心支撑数据分析,模型训练等离线业务场景。随着快手业务的高速发展, Kafka 集群的规模也成指数增长,目前 Kafka 集群日消息处理总量达数万亿级别,峰值超过 1 亿 /s。与此同时我们也面临了很多新问题与技术挑战。本次分享将会介绍 Kafka 系统在快手的应用实践、我们遇到的问题以及相应的技术的演进过程。例如,我们如何解决 Kafka 扩展性、性能,如何做数据 Mirror 集群管理等等。
内容大纲
- Kafka 系统在快手的应用场景以及业务规模;
- Kafka 系统在快手的技术演进过程;
- Kafka 系统在快手的未来规划。
听众受益
- 掌握典型的 Kafka 系统应用场景;
- 了解快手在应用 Kafka 系统的实践过程中,面临的问题,以及我们的技术解决方案。例如,Kafka 系统如何做平滑扩容,如何进一步改进 Kafka 系统性能等。
评论 (2 条评论)