写点什么

Storm 升级成为 Apache 顶级项目

  • 2014-09-30
  • 本文字数:786 字

    阅读完需:约 3 分钟

Apache Storm 是一个免费、开源的分布式实时计算系统。相对于 Hadoop 适用于批处理而言,Storm 可以用于实时处理流式数据。Storm 简单易用,支持多种编程语言。2013 年 9 月,Storm 成为了 Apache 软件基金会的孵化项目,近日,Apache 软件基金会宣布, Storm 已经孵化完毕,升级成为 Apache 顶级项目。这也意味着 Storm 社区和产品已经按照 Apache 软件基金会的流程和理念顺利运作。

Storm 本是由做分析平台的创业公司 BackType 开发,后来 2011 年 7 月 BackType 被 Twitter 收购,Storm 得以保留并于 2011 年 9 月开源在 GitHub 上。在被收购后,Storm 也随之成为了 Twitter 内部的实时数据分析系统。在 Twitter 的带领下,Storm 获得了社区的广泛认可,Hortonworks 宣布将 Storm 整合到自己的 Hadoop 企业版中,Yahoo 将 Storm 与 YARN 整合成为 Storm-YARN 来支持的实时的流计算分析。另外,国内的几个公司也在大规模使用 Storm,比如百度、淘宝,在 Storm 的官网也能看到他们的商标。

Storm 也是少有的几个使用 Clojure 编写的开源项目之一,Clojure 是一个在 JVM 平台运行的动态函数式编程语言。Storm 的成功也证明了 Clojure 可以用于编写大型项目。近日,Puppet Labs 决定使用 Clojure 重写其服务端的部分核心代码。

目前,热门流式计算系统还有 Yahoo 的 S4 和 Spark streaming。Spark Streaming 是建立在 Spark 上的应用框架,利用 Spark 的底层框架作为其执行基础,并在其上构建了 DStream 的行为抽象。S4(简单可扩展流系统的首字母简称:Simple Scalable Streaming System)是一个受 Map-Reduce 模式启发的分布式流处理引擎,设计之初是为了解决使用数据采集和机器学习算法的搜索应用环境中的数据广告的显示问题。

除了用于实时分析外,Storm 也可用于在线机器学习、持续计算、分布式远程调用和 ETL 等领域。Storm 目前的版本是 0.9.2 ,更多的内容读者可以访问 ASF 博客 Storm 官网了解。

2014-09-30 20:556332
用户头像

发布了 219 篇内容, 共 138.3 次阅读, 收获喜欢 191 次。

关注

评论

发布
暂无评论
发现更多内容

微服务分布式事务处理

俞凡

架构 微服务

LotusDB 设计与实现—1 基本概念

roseduan

Go 数据库 存储

Go 实现 WebSockets:2. 如何在 Go 中创建 WebSockets 应用程序

宇宙之一粟

Go 语言 web socket 4月月更

从单机定时到多层分发

程序员小航

Java 定时任务 XXL-JOB

微信朋友圈的高性能复杂度

锎心😌😌😌

音视频&流媒体的原理以及基础入门知识

玩转音视频技术

Linux SRS 音视频开发 流媒体开发

CRMEB多商户后台前端代码打包并更新打包的代码到项目里面教程详解

CRMEB

全链路压测(九):容量评估和容量规划

老张

性能测试 全链路压测 稳定性保障

框架中的自定义网关

Rubble

4月日更

茴字有四种写法,HTAP呢?

MatrixOrigin

数据库 MatrixOrigin MatrixOne 矩阵起源 超融合数据库

MongoDB的原理、基本使用、集群和分片集群

神农写代码

Spring定义BeanDefinition

IT巅峰技术

对话核心开发者,波卡的EVM+最新技术分享活动回顾

One Block Community

区块链 Substrate EVM 波卡

Go 学习笔记——Only For

为自己带盐

Go 4月月更

关于数据湖几个问题详细剖析

五分钟学大数据

数据湖 4月月更

哈希值游戏DAPP开发|区块链哈希值竞猜游戏开发

薇電13242772558

区块链 哈希值

手写实现分布式锁

Linux服务器开发

分布式锁 协程 定时器 后端开发 Linux服务器开发

模块2作业

KennyQ

在终端中使用 GitHub Personal Access Token 访问仓库

信号量

2022第13周-技术分享记事

李印

随笔 工作经验

crmeb Java 项目打包可运行jar文件详细教程

CRMEB

Substrate Builders Program | 了解波卡生态云计算平台与最先进的查询节点框架

One Block Community

区块链 Substrate 波卡

mass哈希娱乐游戏Dapp开发搭建

薇電13242772558

区块链

Tomcat:应用加载原理分析

IT巅峰技术

Tomccat

Linux驱动开发-编写NEC红外线协议解码驱动

DS小龙哥

4月月更

C/C++程序员黄金方向-音视频基础知识和ffmpeg编译

玩转音视频技术

HLS SRS 音视频开发 流媒体开发 C/C++程序员

一文读懂Linux内核进程调度原理

简说Linux内核

内存管理 Linux内核 进程管理 驱动开发 嵌入式开发

浅析基于Linux下的调度类分析(代码演示)

简说Linux内核

内存管理 Linux Kenel Linux内核 进程管理 嵌入式开发

内存是什么?一文搞懂内存是怎么实现的

简说Linux内核

内存管理 Linux内核 嵌入式开发 设备驱动

架构实战营 第 6 期 模块二课后作业

火钳刘明

#架构实战营 「架构实战营」

网络安全之红蓝对抗实战

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

Storm升级成为Apache顶级项目_开源_小盖_InfoQ精选文章