写点什么

Netflix 实时流处理平台 Keystone 介绍

  • 2018-10-09
  • 本文字数:1204 字

    阅读完需:约 4 分钟

Netflix 近日在他们的技术博客上发表了一篇博文,探讨其实时流处理平台 Keystone 的设计考虑和见解。

Keystone 自 2015 年 12 月开始运营,随着 Netflix 订阅用户从 2015 年第 2 季度的 6500 万增长到本文写作时的 1.3 亿多,其规模大幅增长。Keystone最初是作为一个Apache Chukwa 管道,随着时间推移演变成了一个 Kafka 前端管道。据这篇博文介绍,早在2016 年,Netflix 就用36 个Kafka 集群每天处理超过7000 亿条消息。

Netflix 的架构由两个不同的实时流处理平台组成。Keystone 专注于数据分析, Mantis 专注于运营。Keystone 提供了数据管道功能和“流处理即服务”。数据管道几乎实时地生成、处理和分析来自 Netflix 运营的所有不同微服务的数据。流处理即服务允许内部用户在开发和运营自定义流处理应用程序时专注于业务应用程序逻辑。

Netflix 在构建和扩展平台时面临的主要挑战,与工程师在构建大规模分布式系统时面临的挑战类似。路由服务支持可调的至少一次交付的语义,并在延迟和消息交付之间进行折中。

Keystone 使用了 Apache Flink ,可以支持无状态和有状态的作业、突发或恒定流量、几秒到几小时的窗口大小、按需严格排序以及可配置的消息传递保证。资源争用也可能成为系统设计的一个问题,因为不同的作业可能在 CPU、内存、I/O 或网络带宽上存在竞争。系统用户有软件工程师也有业务分析师。所有这些挑战,再加上他们希望实现一个基于多租户云的系统,而该系统必须足够简单,以便其用户可以声明并执行作业,而且大多数作业无需依赖运营同事就可以完成,这些构成了一组有趣的设计需求。

Keystone 平台的理念可以总结为使用户完成任务。可调折中、关注点分离和子系统故障(可能发生并将要发生,被描述为“作为一流公民的失败”)是至关重要的基础。

Netflix 工程团队使用声明式协调协议来实现 Keystone 的设计。每个用户声明的目标状态都存储在 AWS RDS 中,并作为事实的唯一来源。例如,如果 Kafka 集群消失了,那么它仅基于 AWS RDS 数据就可以进行重建。

部署编排是通过持续交付工具 Spinnaker 实现的,每个作业都有一个独立的 Flink 集群。每个组件的惟一共享组件是用于协商一致的 ZooKeeper 和用于存储检查点状态的 S3。自助服务工具帮助用户通过路由作业的用户界面和流处理即服务的 CLI 接口来声明作业。

一组内部开发的、针对 Kafka、ElasticSearch 和 Hive 等的托管连接器可以帮助打算使用 Keystone 的开发人员更快地开发,而无需考虑平台的内部结构和消息解析。自定义领域专属语言(DSL)库抽象了过滤、投影和其他常用的数据转换任务。该平台通过 AWS RDS 协调机制提供自修复功能,在出现故障时,可以通过用户界面用需要的数据回填或回放作业。最后,该平台内置了监控和警报功能。

Keystone 平台的未来开发包括服务层、流媒体 SQL 支持和机器学习等功能,所有这些都将在未来的 Netflix 工程博客文章中详细介绍。

查看英文原文: Netflix Keystone Real-Time Stream Processing Platform

2018-10-09 10:491984
用户头像

发布了 1008 篇内容, 共 384.5 次阅读, 收获喜欢 342 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

test

大肚皮狒狒

微信业务架构图&学生管理系统

刘敏

架构实战营模块一作业

梦寐凯旋

第一周作业

Damon

架构实战营模块 1 作业

Lukefang

架构实战营

【学习总结】模块1:为何架构设计能力难以提升?

小李

架构实战营

2021金三银四程序员面试必问总结

Java架构师迁哥

​程序员的二十多个防猝死指南小妙招

Java架构师迁哥

刚火了的中台转头就拆,一大波公司放不下又拿不起来!

小傅哥

Java 架构 中台 小傅哥 海盗奇兵

一个计算机专业上岸的学长心得体会

🌍

4月日更 专升本

CentOS共享windows文件夹

风翱

centos windows 磁盘挂载 4月日更

企业与员工的三种共同体关系

石云升

28天写作 职场经验 管理经验 4月日更

架构实战营模块一 作业

我叫大法师

看我如何在面试官前吹牛P

yes

面试

c语言思维地基搭建(c语言介绍)

-jf.

学习 大学作业 4月日更

架构实战营模块1第1课-学习总结

吴建中

架构实战营

由 JVM Attach API 看跨进程通信中的信号和 Unix 域套接字

AI乔治

Java 架构 jdk JVM

遭GitHub连夜封杀下架?被泄露的阿里内部Java面试手册到底有多强?

Java架构师迁哥

如何在 Mac 下用 Clion 调试 MySQL 源码

AI乔治

Java MySQL 架构 调优

架构实战营模块 1 作业

夏日

架构实战营

微信业务架构和学生管理系统

thewangzl

# 模块1作业

灯火阑珊

HW Y7 2018

无名

架构实战营 作业1

solider

再聊 TCP backlog

AI乔治

Java 架构 TCP TCP/IP

基于 RocketMQ Prometheus Exporter 打造定制化 DevOps 平台

阿里巴巴云原生

Java 云原生 监控 存储 消息中间件

聪明人的训练(七)

Changing Lin

4月日更

抖音春晚幕后 | 支撑 12 亿红包雨的云原生基础设施

数据库 分布式 云原生 边缘计算

Flink程序结构与数据流

大数据技术指南

flink 4月日更

通过调试 Nginx 源码来定位有趣 Nginx 转发合并斜杠和编码问题

AI乔治

Java nginx 架构

架構實戰營 - 模塊 1 作業

Frank Yang

Netflix实时流处理平台Keystone介绍_开源_Alex Giamas_InfoQ精选文章