AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556524
用户头像

发布了 219 篇内容, 共 143.8 次阅读, 收获喜欢 194 次。

关注

评论

发布
暂无评论
发现更多内容

比较关系型与非关系型数据库:选择最适合你的数据存储方案

测吧(北京)科技有限公司

测试

探索 MongoDB 与 Neo4j 数据库的差异与应用场景

测吧(北京)科技有限公司

测试

【一文读懂】DevOps、DataOps与MLOps:支撑企业高效运维的三驾马车

数造万象

大数据 数字化 DataOps #运维

Penpad获Gate Labs以及Scroll联创Sandy的投资

加密眼界

MySQL 进阶指南:优化查询性能与事务管理

测吧(北京)科技有限公司

测试

前端项目性能优化方案有哪些

天翼云开发者社区

云计算 性能优化 前端

Web3.0交易所dapp代币质押算力挖矿系统开发详细指南

系统开发咨询1357O98O718

查看游戏服务器IP地址的五种绝招,让你游戏无往不利

一只扑棱蛾子

游戏服务器

以数字守护汉字!天翼云TeleDB数据库获GB 18030最高级别认证!

新消费日报

Web3.0去中心化代币流动性质押项目挖矿系统开发详细指南

系统开发咨询1357O98O718

如何优雅地Spring事务编程

Java随想录

Java spring 事务

API 开发的后盾:平台工程提供强力动态支持

SEAL安全

运维 云原生 API 平台工程

Docker run 命令学习—Docker从入门到精通

秃头小帅oi

Redis:快速、灵活的内存数据库应用实践

测吧(北京)科技有限公司

测试

记一次ElasticSearch线上异常排查

李爽

elasticsearch

Redis、MongoDB、Neo4j:探索不同的非关系型数据库世界

测吧(北京)科技有限公司

测试

借助淘宝评论 API,商家轻松掌握市场动态与商机

tbapi

淘宝商品评论接口 淘宝评论API接口

Footprint Analytics 与 GalaChain 达成战略合作

Footprint Analytics

#区块链 Web3 Games Layer 1 GalaChain

linux shell 脚本调试技巧

天翼云开发者社区

云计算 Linux 脚本调试

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案

Apache Flink

大数据 flink 友盟

OpenAI内部最受欢迎的10个GPTs推荐!建议收藏!

蓉蓉

openai ChatGPT GPT-4

揭秘Appium滑动屏幕技巧:实现用户仿真动作的多种方式!

测试人

软件测试 自动化测试 测试开发 appium

抢先看!美团、京东、360等大厂面试题解析,技术面试必备。

王中阳Go

Go 面试 面试题 面经 大厂

Databend 数据汇聚平台的建设与挑战

Databend

“企业创新新引擎”数据库专项赋能会,让云原生技术普惠千行百业!

华为云开发者联盟

数据库 华为云 华为云开发者联盟 企业号2024年4月PK榜 华为云HCDG

揭秘Appium滑动屏幕技巧:实现用户仿真动作的多重方式!

测吧(北京)科技有限公司

测试

软件兼容性定义以及作用简单讲解-行云管家

行云管家

软件 信创 兼容性 兼容适配 兼容

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章