写点什么

Twitter 已经用 Heron 替换了 Storm

  • 2015-06-15
  • 本文字数:944 字

    阅读完需:约 3 分钟

Twitter 已经用 Heron 替换了 Storm。此举将吞吐量最高提升了 14 倍,单词计数拓扑时间延迟最低降到了原来的 1/10,所需的硬件减少了 2/3。

Twitter 使用 Storm 实时分析海量数据已经有好几年了,并在 2011 年将其开源。该项目稍后开始在 Apache 基金会孵化,并在去年秋天成为顶级项目。Storm 以季度为发布周期,现在已经达到了 0.9.5 版本,并且正在向着人们期望的 1.0 稳定版前进。但一直以来,Twitter 都在致力于开发替代方案 Heron,因为 Storm 无法满足他们的实时处理需求。

Twitter 的新实时处理需求包括:“每分钟数十亿的事件;大规模处理具有次秒级延迟和可预见的行为;在故障情况下,具有很高的数据准确性;具有很好的弹性,可以应对临时流量峰值和管道阻塞;易于调试;易于在共享基础设施中部署。” Karthik Ramasamy 是 Twitter Storm/Heron 团队的负责人。据他介绍,为满足这些需求,他们已经考虑了多个选项:增强 Storm、使用一种不同的开源解决方案或者创建一个新的解决方案。增强 Storm 需要花费很长时间,也没有其它的系统能够满足他们在扩展性、吞吐量和延迟方面的需求。而且,其它系统也不兼容 Storm 的 API,需要重写所有拓扑。所以,最终的决定是创建 Heron,但保持其外部接口与 Storm 的接口兼容。

拓扑部署在一个 Aurora 调度器上,而后者将它们作为一个由多个容器(cgroups)组成的任务来执行:一个 Topology Master、一个 Stream Manager、一个 Metrics Manager(用于性能监控)和多个 Heron 实例 (spouts 和 bolts)。拓扑的元数据保存在 ZooKeeper 中。处理流程通过一种反压机制实现调整,从而控制流经拓扑的数据量。除 Aurora 外,Heron 还可以使用其它服务调度器,如 YARN 或 Mesos。实例运行用户编写的 Java 代码,每个实例一个 JVM。Heron 通过协议缓冲处理彼此间的通信,一台机器上可以有多个容器。(要了解更多关于 Heron 内部架构的细节信息,请阅读论文《 Twitter Heron:大规模流处理》。)

Twitter 已经用 Heron 完全替换了 Storm。前者现在每天处理“数 10TB 的数据,生成数 10 亿输出元组”,在一个标准的单词计数测试中,“吞吐量提升了 6 到 14 倍,元组延迟降低到了原来的五到十分之一”,硬件减少了 2/3。

当被问到 Twitter 是否会开源 Heron 时,Ramasamy 说“在短时间内不会,但长期来看可能。”

2015-06-15 13:409034
用户头像

发布了 1008 篇内容, 共 397.2 次阅读, 收获喜欢 345 次。

关注

评论

发布
暂无评论
发现更多内容

TiDB 快速入门:从零到一 部署初探

TiDB 社区干货传送门

安装 & 部署

份额大涨! 天翼云稳居中国公有云laaS市场、laaS+PaaS市场第三!

天翼云开发者社区

云计算 公有云 云服务 IDC

云空间技术在视频监控中的隐私保护策略

天翼云开发者社区

云计算 存储 隐私保护 视频监控 云空间

云空间视频监控的可扩展性:适应不断增长的监控需求

天翼云开发者社区

云计算 视频监控 可扩展性

官宣“2024西部(成都)国际人工智能展会”招展工作全面启动

AIOTE智博会

人工智能展会 人工智能展

京东广告算法架构体系-高性能计算最佳实践

京东零售技术

算法 性能优化 技术架构 GPU算力

ETL能实现什么流程控制方式?

RestCloud

ETL 数据集成 数据集成工具

分享7个常用的 JavaScript 库

伤感汤姆布利柏

测试 TIDB in k8s 一次问题记录(pd failed to respond)

TiDB 社区干货传送门

7.x 实践

“分布式透明化”在杭州银行核心系统上线之思考

TiDB 社区干货传送门

实践案例

ECMAScript 悄悄更新了两个对象分组 API,你注意到了么?

OpenTiny社区

开源 前端 低代码 组件库 OpenTiny

MuseScore 4 :免费、开源的音乐创作软件

Rose

打谱软件 MuseScore4 西贝柳斯 乐谱软件

华为云CCE Turbo:基于eBPF的用户自定义多粒度网络监控能力

华为云开发者联盟

云原生 华为云 华为云开发者联盟 华为云CCE容器服务

苹果手机锁定怎么办?AnyMP4 iPhone Unlocker for Mac iPhone解锁器

Rose

iPhone Unlocker iPhone解锁器 苹果手机

Premiere Pro 2022下载 (PR2022中文破解) v22.2.0 语音转字幕专用版

Rose

Premiere Pro 2022 pr2022怎么添加字幕

支付宝AES如何加密

盐焗代码虾

加密解密 支付宝 AES

Higress × OpenKruiseGame 游戏网关最佳实践

阿里巴巴云原生

阿里云 云原生 游戏 OpenKruiseGama Higress

PolarDB-X最佳实践系列(四):如何设计一张订单表

阿里云数据库开源

数据库 阿里云 最佳实践 polarDB PolarDB-X

【亲测有效】2023最新版intellijidea激活秘钥下载 java开发 mac/win

Rose

Java JetBrains IDEA2023激活码 IntelliJ IDEA 2023安装

软件测试学习笔记丨接口测试Mock实战

测试人

软件测试

未来时尚:数字化管理引领服装企业商品计划的创新浪潮

第七在线

OpenCloudOS 迁移工具征集中,18 万奖金等你来拿!|开放原子开源大赛

OpenCloudOS

Linux 迁移

从零到一:我的软件测试开发工程师之路

测试人

软件测试

使用 Coze 搭建 TiDB 助手

TiDB 社区干货传送门

实践案例

​让游戏云原生化别再「左右为难」

阿里巴巴云原生

阿里云 阿里云云原生 OpenKruiseGama

选择TiDB的10个理由

TiDB 社区干货传送门

数据库架构选型

Twitter已经用Heron替换了Storm_大数据_Abel Avram_InfoQ精选文章