写点什么

11 天里 13 个 Apache 开源项目宣布退休,Hadoop 的时代结束了

  • 2021-05-18
  • 本文字数:1533 字

    阅读完需:约 5 分钟

11天里13个Apache开源项目宣布退休,Hadoop的时代结束了

在 11 天之内,Apache 宣布退役了 13 个与大数据相关的 Apache 项目,其中包括 Sentry、Tajo 和 Falcon。看起来 Hadoop 和大数据的黄金年代已经正式结束。</preface>


曾几何时,Apache Hadoop 是大数据的代表,但今天谁都知道它已经过时了。而自 4 月 1 日起,Apache 软件基金会(ASF)宣布将至少 19 个开源项目撤回到他们的“Attic”,其中 13 个与大数据相关,10 个属于 Hadoop 生态系统。

光荣榜


单个项目的退役公告可能不算什么,但它们加在一起足以成为一个分水岭。


为了帮助从业者和行业观察者充分认识到这次大数据开源项目洗牌的深刻影响,我们应该好好整理一下。


与大数据相关的 Apache 退役项目包括:


  • Apex:基于 HadoopYARN 的统一大数据流和批处理平台

  • Chukwa:基于 Hadoop 分布式文件系统(HDFS)构建的,用于监视大型分布式系统的数据收集系统

  • Crunch,提供了用于编写、测试和运行 MapReduce(包括 HadoopMapReduce)管道的框架

  • Eagle:一种分析解决方案,可在包括 Hadoop 在内的大数据平台上迅速识别安全和性能问题

  • Falcon:针对 Hadoop 的数据处理和管理解决方案,设计用于数据移动、数据管道协调、生命周期管理和数据发现

  • Hama:一种用于大数据分析的框架,运行在 Hadoop 上,并且基于 BulkSynchronousParallel 范式

  • Lens,提供了统一的分析界面,将 Hadoop 与传统数据仓库深度集成在一起

  • Marmotta:链接数据的开放平台

  • Metron:专注于实时大数据安全性

  • PredictionIO:一种用于管理和部署生产就绪的预测服务的机器学习服务器

  • Sentry:一种用于对 ApacheHadoop 中的数据和元数据执行细粒度授权的系统

  • Tajo:Hadoop 上的大数据仓库系统

  • Twill,它使用 HadoopYARN 的分布式功能和类似的编程模型来运行线程

房间里的“大象”


上面这个列表很长,而完整的列表还包括一些非大数据项目。显然,ASF 正在做一些内部清扫工作。此外,由于 Cloudera-Hortonworks 的合并,与 Ranger 和 Spot 项目竞争的 Sentry 和 Metron 也被弃用。之前两家公司总共支持四个项目,现在只保留两个就够了。


这次合并的背景是大数据市场的整合趋势。而且可以说,这场大数据整合潮流也是上面这些项目“退役”的根本原因。至少可以说,在不到两周的时间内宣布所有这些项目“退役”的确是一件大事。

官方评论


我向 ASF 询问了他们清理大数据项目的解释。ASF 市场营销与宣传副总裁 Sally Khudairi 通过电子邮件回复说:“Apache 项目活动在生命周期中往往会起伏不定,这取决于社区的参与。”Khudairi 补充说:“我们……从项目管理委员会(PMC)到董事会内部,对多个 Apache 项目的活动进行了审查和评估,并投票决定将这些项目退回到 Attic。”Khudairi 还说,ASF 的 Apache Attic 副总裁 Hervé Boutemy“最近非常高效地完成了“春季大扫除”,妥善处理了在过去几个月中准备退役的十几个项目。”


尽管 ASF 断言这次大数据清理工作只是其他常规项目退役的一部分,但很明显,大数据领域的情况已经发生了变化。Hadoop 在开源分析技术的主导地位已让给 Spark,Hortonworks 和老牌的 Cloudera 之间的相似项目无意义竞争也结束了,这些项目完成了达尔文自然选择过程。

小心一点吧


很明显,在大数据世界中,大量投资于 Apache Sentry 的供应商和客户现在需要整理他们的损失并继续前进。残酷的现实带来的教训几乎适用于所有技术炒作周期:社区开始兴奋起来,开源技术激增,生态系统逐渐完善。但这些生态系统并不会永存,几乎任何新平台(无论是商业平台还是开源平台)都存在固有的风险。


用 ASF 的 Khudairi 的话来说:“每个项目背后的社区才是代码生命力的源泉('代码不会自动编写出来'),因此社区改变项目步伐的情况并不少见。”换句话说,尖端技术令人兴奋,但早期采用者要小心:它也是很脆弱的。请多加注意,并妥善管理风险。


原文链接:


https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/


2021-05-18 10:0011807
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 557.1 次阅读, 收获喜欢 1978 次。

关注

评论 7 条评论

发布
用户头像
标题的确有点吸引眼球,实际没有那么简单被取代。产品化和计算组件的替换倒是有可能,存储调度还是用hadoop那套
2021-06-01 00:25
回复
用户头像
标题党的水平都是比较低的
2021-05-26 17:24
回复
用户头像
博眼球的标题。。。。
2021-05-26 16:10
回复
用户头像
Hadoop 被取代了?
2021-05-18 14:15
回复
现在很多大数据项目底层存储依然使用hadoop hdfs. 文中提到主导地位hadoop让给了spark等,可能说的只是计算层。随着一些大数据产品如CDH的推出和不断完善,搭建大数据平台不再需要一个组件一个组件的搭了,越来越像使用一个完整的产品一样使用。但hdfs等底层技术组件依然存在。
2021-05-18 14:33
回复
所以文章想表达的意思应该是大数据平台已经从传统手撸到整体一站式产品化了。使用Hadoop要怎么怎么的标题,有博眼球之嫌
2021-05-18 14:38
回复
其实spark只是计算组件,hadoop除了计算还有很多。比如复杂的分布式文件hdfs,几乎都在用
2021-06-01 00:23
回复
没有更多了
发现更多内容

高性能存储SIG月度动态:ANCK ublk完成POC测试,EROFS优化xattr元数据开销

OpenAnolis小助手

操作系统 内核 高性能存储 龙蜥社区 sig

从零开始学习 GraphQL:入门指南和教程

Apifox

程序员 gRPC 后端 协议 graphql

Spring Cloud微服务网关Zuul过滤链实现的源码解读

做梦都在改BUG

人工智能会取代人类成为地球的主宰么?| 社区征文

毛小毛

人工智能 ChatGPT 三周年征文

MySQL8.0 优化器介绍(二)

GreatSQL

MySQL greatsql greatsql社区

Seata:连接数据与应用

阿里巴巴云原生

阿里云 云原生 seata

如何解决spring的循环依赖问题?

做梦都在改BUG

Java spring 循环依赖

深入理解 Redis 新特性:Stream

Java你猿哥

redis SSM框架 Redis 核心技术与实战 redis 底层原理

如何将一个链表分组并对每组进行反转?

Java你猿哥

Java 链表 架构师 SSM框架 链表结构

RocketMQ 多级存储设计与实现

阿里巴巴云原生

阿里云 RocketMQ 云原生

Github上标星68.5K,阿里巴巴《MySQL成长手册》火了

做梦都在改BUG

Java MySQL 数据库

带你用三种不同的工具体验AI作诗

华为云开发者联盟

云计算 华为云 华为云开发者联盟 企业号 4 月 PK 榜

零拷贝浅析

数新网络官方账号

大数据 零拷贝

ChatGPT的狂欢背后:短板犹在,启发甚多,2023有这些事可以做……

小红书技术REDtech

人工智能 ChatGPT 活动回顾

记一次 MySQL 主从同步异常的排查记录,百转千回

做梦都在改BUG

Java MySQL 主从同步

面试官:如何动态的给一个类增加功能?

做梦都在改BUG

对话大咖 | 人工智能+视频编解码能带来新的变革吗

小红书技术REDtech

人工智能 深度学习 活动回顾

eBPF动手实践系列一:解构内核源码eBPF样例编译过程

阿里云大数据AI技术

运维 代码 企业号 4 月 PK 榜

OpenHarmony3.2release抢先体验

坚果

OpenHarmony 三周年连更

从此告别写SQL!DataLeap帮你零门槛完成“数据探查”

字节跳动数据平台

MySQL 数据分析 数据治理 数据探查 企业号 4 月 PK 榜

直播预告 | TDengine & Apache SeaTunnel 联合应用最佳实践

TDengine

Apache tdengine 时序数据库

详解,LED显示屏灰度等级

Dylan

灰度 LED显示屏 色彩

镭速Raysync v6.6.8.0版本发布

镭速

原来XXL-JOB可以这么造

六月的雨在InfoQ

Serverless XXL-JOB SAE 三周年连更

阿里耗时1年:用283张图+24问完美诠释“Java并发编程”所有难点

做梦都在改BUG

Java 并发编程

面试了个阿里P7大佬,他让我见识到什么才是“精通高并发与调优”

做梦都在改BUG

Java 高并发 性能调优

云原生助力数字原生企业业务快速迭代|阿里云峰会精彩回顾

阿里巴巴云原生

阿里云 云原生

SpringBoot设计了哪些可拓展的机制?

做梦都在改BUG

架构师才需要学习的知识:亿级流量调优方法+实战

做梦都在改BUG

Java 性能优化 性能调优

阿里P8:Java性能调优(独孤版),带你打造淘宝秒杀架构

做梦都在改BUG

Java 架构 性能调优

数说热点|春暖花开日,露营正当时——当精致露营遇上新能源车

MobTech袤博科技

11天里13个Apache开源项目宣布退休,Hadoop的时代结束了_大数据_Andrew Brust_InfoQ精选文章