写点什么

Netflix 实时流处理平台 Keystone 介绍

  • 2018-10-09
  • 本文字数:1204 字

    阅读完需:约 4 分钟

Netflix 近日在他们的技术博客上发表了一篇博文,探讨其实时流处理平台 Keystone 的设计考虑和见解。

Keystone 自 2015 年 12 月开始运营,随着 Netflix 订阅用户从 2015 年第 2 季度的 6500 万增长到本文写作时的 1.3 亿多,其规模大幅增长。Keystone最初是作为一个Apache Chukwa 管道,随着时间推移演变成了一个 Kafka 前端管道。据这篇博文介绍,早在2016 年,Netflix 就用36 个Kafka 集群每天处理超过7000 亿条消息。

Netflix 的架构由两个不同的实时流处理平台组成。Keystone 专注于数据分析, Mantis 专注于运营。Keystone 提供了数据管道功能和“流处理即服务”。数据管道几乎实时地生成、处理和分析来自 Netflix 运营的所有不同微服务的数据。流处理即服务允许内部用户在开发和运营自定义流处理应用程序时专注于业务应用程序逻辑。

Netflix 在构建和扩展平台时面临的主要挑战,与工程师在构建大规模分布式系统时面临的挑战类似。路由服务支持可调的至少一次交付的语义,并在延迟和消息交付之间进行折中。

Keystone 使用了 Apache Flink ,可以支持无状态和有状态的作业、突发或恒定流量、几秒到几小时的窗口大小、按需严格排序以及可配置的消息传递保证。资源争用也可能成为系统设计的一个问题,因为不同的作业可能在 CPU、内存、I/O 或网络带宽上存在竞争。系统用户有软件工程师也有业务分析师。所有这些挑战,再加上他们希望实现一个基于多租户云的系统,而该系统必须足够简单,以便其用户可以声明并执行作业,而且大多数作业无需依赖运营同事就可以完成,这些构成了一组有趣的设计需求。

Keystone 平台的理念可以总结为使用户完成任务。可调折中、关注点分离和子系统故障(可能发生并将要发生,被描述为“作为一流公民的失败”)是至关重要的基础。

Netflix 工程团队使用声明式协调协议来实现 Keystone 的设计。每个用户声明的目标状态都存储在 AWS RDS 中,并作为事实的唯一来源。例如,如果 Kafka 集群消失了,那么它仅基于 AWS RDS 数据就可以进行重建。

部署编排是通过持续交付工具 Spinnaker 实现的,每个作业都有一个独立的 Flink 集群。每个组件的惟一共享组件是用于协商一致的 ZooKeeper 和用于存储检查点状态的 S3。自助服务工具帮助用户通过路由作业的用户界面和流处理即服务的 CLI 接口来声明作业。

一组内部开发的、针对 Kafka、ElasticSearch 和 Hive 等的托管连接器可以帮助打算使用 Keystone 的开发人员更快地开发,而无需考虑平台的内部结构和消息解析。自定义领域专属语言(DSL)库抽象了过滤、投影和其他常用的数据转换任务。该平台通过 AWS RDS 协调机制提供自修复功能,在出现故障时,可以通过用户界面用需要的数据回填或回放作业。最后,该平台内置了监控和警报功能。

Keystone 平台的未来开发包括服务层、流媒体 SQL 支持和机器学习等功能,所有这些都将在未来的 Netflix 工程博客文章中详细介绍。

查看英文原文: Netflix Keystone Real-Time Stream Processing Platform

2018-10-09 10:492199
用户头像

发布了 1008 篇内容, 共 407.9 次阅读, 收获喜欢 346 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

架构师训练营第一周学习总结

时来运转

极客大学架构师训练营

01周-就餐卡系统设计

dao

极客大学架构师训练营 实验品

第一周作业1-食堂就餐系统设计

Geek_10

01.食堂就餐卡系统简要设计以及学习总结

昵称

如何从 0 到 1 参与 Flink 社区?

Apache Flink

大数据 flink 流计算 实时计算

软件设计方法论

证明谁才是第一

学习 思维导图 软件设计 设计实践

架构设计文档的一些心得

elfkingw

TypeScript:重新发明一次 JavaScript

LeanCloud

Java node.js typescript 大前端

架构师训练营第一周总结

好名字

总结 极客大学架构师训练营

作业一

姜 某某

架构师训练营第一周命题作业

whiter

极客大学架构师训练营

【架构】— 写在前面的话

不二架构

总结 感悟 极客大学架构师训练营

redis线程模型

wjchenge

作业二

姜 某某

第一周学习总结

Thrine

食堂就餐卡系统架构设计

时来运转

极客大学架构师训练营

食堂就餐卡系统设计 UML

Kun

极客大学架构师训练营

Flink 1.10 Container 环境实战

Apache Flink

大数据 flink 流计算 实时计算

食堂就餐卡系统设计

heeeeeeyZ25

第一周作业二:架构师第一周上课总结

Geek_10

数仓系列 | Flink 窗口的应用与实现

Apache Flink

大数据 flink 流计算 实时计算

食堂就餐卡系统设计

互金从业者X

架构师 week 1 作业二

iLeGeND

【练习】食堂就餐卡系统设计

张金峰

极客大学架构师训练营

for 语句

Hello

架构师训练营-第一章 心得总结

Linkin

驳《阿里「Java开发手册」中的1个bug》?

王磊

Java 性能优化 性能

架构师是怎样炼成的

彭阿三

架构

第一周学习感想

heeeeeeyZ25

直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥?

Apache Flink

大数据 flink 流计算 实时计算

极客时间架构课Week01-作业一:食堂就餐卡系统设计

yulyulcl

Netflix实时流处理平台Keystone介绍_开源_Alex Giamas_InfoQ精选文章