写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556494
用户头像

发布了 219 篇内容, 共 143.0 次阅读, 收获喜欢 194 次。

关注

评论

发布
暂无评论
发现更多内容

rabbitMQ到底是个啥东西?

程序员万金游

Java 开发 #java Rabbit MQ

华为阅读“鲁迅专栏”已上线,读国内名家作品就上华为阅读

最新动态

轻量应用服务器,助力个人开发者最低成本创业

YG科技

活动预告 | 中国数据库联盟(ACDU)中国行第三站定档成都,邀您探讨数据库前沿技术

墨天轮

MySQL 数据库 oracle postgresql zabbix

火山引擎边缘云:数智化项目管理助力下的业务增长引擎

火山引擎边缘云

数字化 飞书 数智化 #项目管理

从技术创新到应用实践,百度智能云发起大模型平台应用开发挑战赛!

不叫猫先生

百度智能云 千帆大模型平台

Redis类型(Type)与编码(Encoding)

Java随想录

redis

Java训练营毕业总结

jjn0703

IoTDB 在国际数据库性能测试排行榜中位居第一?测试环境复现与流程详解第一弹!

Apache IoTDB

为什么要使用zookeeper

Jerry Tse

zookeeper 分布式锁 分布式系统 共识算法 数据强一致性

TinyEngine 低代码引擎到底是什么?

英勇无比的消炎药

开源 前端 低代码

Python 中的数字类型与转换技巧

小万哥

Python 程序员 软件 后端 开发

华为智慧屏,吹尽狂沙始到金

脑极体

AI智慧屏

人工智能核心基础 - 规划和概要

茶桁

人工智能 机器学习 深度学习 CNN RNN

WorkPlus私有化部署IM即时通讯平台,构建高效安全的局域网办公环境

BeeWorks

使用Optional优雅避免空指针异常

Java随想录

Java 异常

Github上线即遭狂转!上百人通过这份算法手抄本成功上岸字节

程序员万金游

#java java 架构 #算法 #数据结构 #java编程

Redis内存碎片:深度解析与优化策略

Java随想录

Java redis

福利贴|这是一个程序员不看一定会后悔的问题

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

大道总是孤独的——查理芒格如是说

少油少糖八分饱

投资 长期主义 能力圈 查理芒格 股东大会

华为云耀云服务器L实例:带你探索轻量应用服务器的魅力

YG科技

数字中国下西洋,需要一支怎样的船队?

白洞计划

AI 网易 风控

Generative AI 新世界 | 扩散模型原理的代码实践之采样篇

亚马逊云科技 (Amazon Web Services)

机器学习 #人工智能 生成式人工智能 Amazon SageMaker 大语言模型

WorkPlus Meet 视频会议,自主可控,支持私有化部署

BeeWorks

企业内部通讯,WorkPlus助您打造高效沟通平台

BeeWorks

腾讯Java后端社招三面,差点就挂了!

程序员小毕

Java 程序员 面试 程序人生 架构师

close()关闭文件方法

芯动大师

“00后”整顿职场,终于轮到网安圈了

脑极体

数据湖

英伟达,不能只做孤独的胜利者

自象限

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章