写点什么

大数据独角兽 Cloudera 股价腰斩,Hadoop 将何去何从

  • 2019-06-08
  • 本文字数:2057 字

    阅读完需:约 7 分钟

大数据独角兽Cloudera股价腰斩,Hadoop将何去何从

美东时间 6 月 6 日美股开盘后,大数据公司 Cloudera 股价暴跌 43%,在此之前该公司刚刚宣布首席执行官 Tom Reilly 将离职,并下调了 2020 年收入预期。在与竞争对手 Hortonworks 合并五个月后,尽管 Cloudera 不断尝试实现持续增长,但现金仍在流失,这引发了人们对其数据分析技术未来发展前景的担忧。在 2014 年由英特尔主导的融资轮中,Cloudera 估值曾高达 41 亿美元,而今其市值已经缩水为 14 亿美元。



一周前,曾经同为大数据独角兽的 MapR 也传出了面临重大危机的消息。根据加州就业发展部门的一份文件,MapR 于 5 月 14 日通知加州就业发展局,计划在其 Santa Clara 总部裁员 122 人。在工人调整及再培训通知 (WARN) 文件中,这次裁减被标记为“永久性关闭”,将于 6 月 14 日生效。这些是否昭示着 Hadoop 这一生态的衰败?


下文授权转载自微信公众号来源 “legendtkl”


Hadoop 包括两部分 MapReduce 和 HDFS,分别对应 Google 三架马车论文中的 MapReduce 和 GFS。后来 Hadoop 的 MapReduce 调度框架为了实现抽象度更高的资源调度,将编程模式剥离出调度框架,就出现了 YARN(Yet Another Resource Negotiator)。所以我们现在常说的 Hadoop 其实就是 HDFS 和 YARN。


围绕 Hadoop 进行商业化有著名的三巨头,分别是 Cloudera、Hortonworks 和 MapR,如今都不约而同地陨落了。

Cloudera

Cloudera 于 2008 年成立,创始人来自 Google、FaceBook 和 Yahoo!,在 2008 年还不知道大数据为何物的时候创办 Cloudera,可谓非常有眼光。还有一点不得不提的是,Cloudera 的首席架构师 Doug Cutting, 也就是 Hadoop 的第一位作者,后来被 Yahoo! 招安,再之后转投 Cloudera。顺风顺水,后来升至 Apache 基金会主席。



Cloudera 的 Hadoop 发行版 CDH 是免费的,但是公司通过卖服务赚钱。比如 Hadoop 集群的管理软件 Cloudera Manager 就是收费的。Cloudera Manager 的功能包括集群的管理、部署、监控、升级等,简单来说就是运维。而这些都是公有云要做的,毕竟云计算就是卖运维。


Cloudera 在 2014 年随着不断融资,投资方包括 Intel、Google,市值到达顶峰 41 亿美元。之所以说是顶峰,是因为之后的三年 Cloudera 的发展并没有如预想中的顺利,也终于在 2017 年以 20 多亿美元匆忙上市。

Hortonworks

Hortonworks 于 2011 年由 Yahoo! 的 Hadoop 团队拆分而成,和 Cloudera 不同的是,Hortonworks 的代码是完全开源的。但是相比 Cloudera 起步晚,而且缺少了 Doug Cutting 这种领袖人物,亮点可谓乏善可陈。公司成立三年就于 2014 年匆忙上市,上市之初市值十多亿美元。



无论是 Cloudera 还是 Hortonworks 都没有赶上云产商这班车,比如著名的开源软件吸血鬼 AWS,针对 Hadoop 生态的公有云产品 Elastic MapReduce 对 Cloudera 和 Hortonworks 两家公司的影响不可谓不小。可能是疲于同行业内耗,最终两家公司与 2018 年 10 月份宣布合并,但是以事后的角度来看,合并并没有什么用。

MapR

MapR 的创始人 M.C.Srivas 来自于 Google。客观来说 GFS 架构设计其实并不是很好,HDFS 相当于对 GFS 论文的一种拙劣的模仿。而 Google 内部使用的分布式文件系统也是多方面碾压 HDFS。所以 M.C.Srivas 创立 MapR 的时候就将 Hadoop 的文件系统 HDFS 进行了重构,同时兼容了 Hadoop 协议,但是是闭源的。MapR 的商业化之路主打系统的性能等优于开源 Hadoop 的特性,在售价上也要高于 Cloudera。MapR 一度给人一种用技术挑战整个 Hadoop 社区的感觉,只不过很多人不买账。



在 MapR 看似一切都还发展不错的时候,M.C.Srivas 在 2016 年离开了 MapR 加入了 Uber。对于一个创业公司来说并不是一个好的信号,直到 2019 年 5 月底爆出消息,MapR 融资困难,可能在不久之后关闭。曾经估值高达 10 亿美元的一代枭雄或将在此陨落。


延伸阅读


大数据“独角兽”折戟:MapR 或将裁员百余人,并关闭硅谷总部

启示

Hadoop 除了这三家发行商,目前在各大云厂商上都还以 Elastic MapReduce 的形态存在,包括 AWS EMR、Aliyun EMR 等。目前来看,对于 Hadoop 的存在形态,还会在公有云上存在一段时间。但是还能存在多久,拭目以待。


Hadoop 商业化平台的衰败或许并不能代表整个大数据行业的衰败,但是却预示着 Hadoop 的失败,对 Hadoop 的后续开发维护必然会产生影响。


作为 Hadoop 的替代产品,HDFS 在 AWS 上早已被 S3 取代。国内的各大公有云产生也有自己自研的文件系统。YARN 或许还能存在一段时间,很早之前就有人推崇使用 Kubernetes 来替代 YARN 作为资源调度器。但是由于 Kubernetes 的调度器是一种集中式的资源调度器,而 YARN 是两层资源调度器,目前 YARN 上面的作业并不能很容易地无缝迁移到 Kubernetes。

结语

Hadoop 本是 Google 的上一代技术三架马车(GFS、MapReduce、BigTable)的模仿,设计不可谓优雅,但是也发展了十年左右,借着大数据的这班车也抢尽了风头。如今 Google 又开源了 Kubernetes 系统,大家才发现进程应该结合 Namespace 和 Cgroup 来跑,然后整个社区又被 Google 带着跑。


有的时候不得不说,号称不做恶的 Google 有的时候还是挺坏的。


2019-06-08 13:5011122

评论 1 条评论

发布
用户头像
看到这个消息有点儿悲剧。话说完全的开源让除了依赖于谷歌这种有收入的公司之外的开源创新很难形成良好的持续性生态,不知道是喜是忧
2019-06-10 09:26
回复
没有更多了
发现更多内容

第九周作业

lv

为什么要选择昆仑分布式数据库?

KunlunBase昆仑数据库

国产数据库

天翼云与龙芯完成产品兼容适配加速国产化云平台发展

天翼云开发者社区

昆仑分布式数据库技术特点

KunlunBase昆仑数据库

分布式数据库 国产数据库

昆仑分布式数据库技术优势

KunlunBase昆仑数据库

分布式数据库 国产数据库

Linux之ss命令

入门小站

Linux

海外主机是什么意思?与国内主机有什么区别?

行云管家

服务器 主机 服务器运维 海外 主机运维

应用环境能力 | 阿里巴巴DevOps实践指南

阿里云云效

阿里巴巴 阿里云 研发效能 开发

云图说丨初识数据工坊DWR

华为云开发者联盟

大数据 数据处理 算子 数据工坊 工作流编排

声网崩溃数据的自动化闭环处理

声网

自动化 测试 Dev for Dev

墨天轮国产数据库沙龙 | 胡津铭:时序数据库DolphinDB,从量化金融到万物互联

墨天轮

数据库 时序数据库 DolphinDB 国产数据库

Linux下C++后台服务器开发

Linux服务器开发

C/C++ 后端开发 Linux服务器开发 C++后台开发 Linux后台开发

优雅的编码习惯总是让人心情愉悦(Shell篇)

XinXing

Shell Code 优雅 脚本 规范

黄东旭当选 CCF 数据库专业委员会、开源发展委员会、大数据专家委员会执行委员

PingCAP

面试官:对于宏任务和微任务,你知道多少?

是乃德也是Ned

JavaScript 面试 前端 ES6 Promise

Promise静态四兄弟,你学会了吗?

战场小包

JavaScript 前端 Promise 3月月更

昆仑分布式数据库架构介绍

KunlunBase昆仑数据库

数据库 分布式数据库

恒源云(GpuShare)_加速pytorch训练的方法来喽~

恒源云

深度学习 PyTorch

穿透、击穿、雪崩…Redis这么多问题,如何解决?

华为云开发者联盟

redis 缓存 缓存穿透 缓存击穿 缓存雪崩

史上最通俗,彻底搞懂字符乱码问题的本质

WorkPlus

“养老”变“享老”,老龄人口高峰与养老产业爆发催生金融需求

易观分析

养老服务 养老金融

C++ 内存管理中内存泄漏问题产生原因以及解决方法

Linux服务器开发

C/C++ 内存管理 内存泄漏 Linux服务器开发 Linux后台开发

如何高效完成ECS多环境部署?

阿里云云效

阿里云 云原生 开发 部署与维护 ECS

【51单片机】独立按键控制LED灯(四种形式)

謓泽

3月月更

JavaScript 基础(一):语法和程序结构

devpoint

JavaScript 函数 数据类型 3月月更

天翼云TeleDB数据库为实现自主可控全面亮剑

天翼云开发者社区

云管理平台有哪些?建议选择哪家?

行云管家

云计算 多云 云管理

企业IM首选移动数字化平台WorkPlus

WorkPlus

CRM系统改善业务的方法

低代码小观

CRM 客户关系管理 企业管理系统 CRM系统 企业管理工具

31 家企业入选阿里云首期云原生加速器,共建云原生行业新生态

阿里巴巴云原生

阿里云 云原生 云原生加速器 招募 行业生态

主流移动端账号登录方式的原理及设计思路

WorkPlus

大数据独角兽Cloudera股价腰斩,Hadoop将何去何从_大数据_陶克路_InfoQ精选文章