AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

国内首家!主导 Apache Hadoop 新版本发布的,是腾讯云这位小哥哥

  • 2018-06-13
  • 本文字数:1991 字

    阅读完需:约 7 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

近日,腾讯主导的 Apache Hadoop2.8.4 最新版本发布,为国内科技公司在国际开源领域的探索迈出重要一步。

2006 年 Apache Hadoop 发布,2008 年 Hadoop 成为 Apache 顶级项目。在那时,中国移动、百度、淘宝等都已经开始使用 Hadoop 技术。Hadoop 现在早已成为 Apache 软件基金会的金牌项目之一。不仅如此,它还孕育了包括 HBase、Hive、ZooKeeper 等一系列知名 Apache 顶级项目,它们一开始都是以 Apache Hadoop 子项目的形式在社区运作、为开发者熟知的。

这次腾讯主导发布的 Apache Hadoop2.8.4 版本,涉及 20 多个大大小小的特性和优化,清单如下:

负责这一版本整体进度的Release Manager,是来自腾讯云产品部大数据及人工智能产品中心的专家研究员堵俊平,他同时也是Apache Hadoop 社区PMC 的成员。

Apache 软件基金会推崇 PMC 制度,每个开源项目都是一个 PMC,即项目管理委员会,可以自行决定技术发展方向和社区运作模式,但需要公开信息,并定期向 Apache 的董事会汇报,以便董事会监督。

成为 PMC 的成员可是非常不容易的事,必须要一步步“打怪升级”。要实现从一个普通的 Developer 到 PMC Member 的跨越,除了码代码以外,开源社区的组织能力也要强,是不是帅呆了?

堵俊平

腾讯 T4 大数据技术专家,曾任 EMC,VMware 资深研发工程师,Hortonworks 美国 YARN 团队负责人。深耕云计算,大数据方向 10 余年,在多个社区均享有极高知名度,包括 Apache Hadoop 社区 Committer & PMC,并领导 hadoop 2.6、2.8 等应用非常广泛的社区 release。曾领导开发多个 Hadoop 在云平台上优化与拓展的项目与产品。目前在腾讯致力于领导腾讯云大数据及人工智能产品研发工作。

小编采访了一下这位男神,接下来就让他给大家讲一下,这次新版本发布过程中的小细节吧。

很多人可能听说过“开源”,但了解不多,您可以简单介绍一下吗?

A:开源可以理解为“向公众开放源代码”。近几年来热度不减的大数据,就是由开源的软件来驱动整个产业生态的。这里就不得不提到一个里程碑式的开源产品——hadoop:从谷歌的三篇论文,到雅虎的 hadoop,开启了如今的大数据时代。

过去的系统软件主要是由闭源软件来驱动的。虽然像操作系统涌现出 Linux 这样优秀的软件,但后面的数据库和应用服务器,仍然几乎都是从闭源产品去驱动的。

hadoop 诞生后的这十年来,一直都是大数据生态的核心,它改变了以往的软件形式,成为了最主流的开源项目之一。现在基本上各家数据平台团队,都是在 hadoop 生态系统上小修小改,去支持大数据相关的业务系统,可以认为它是开源的一个标准吧。

与传统的闭源生态相比,开源有什么好处呢?

A:首先是避免“重复发明轮子”的问题,不同的个人和团体可以在公开的代码平台上集体创作,而不是封闭起来做重复的事情。其次是用户不必被绑架在特定的软件平台上,随时可以迁移应用和数据。最后是核心知识产权,比如以前的 IOE,不只是没有“中国芯”的问题,上面的应用软件和系统软件可能随时面临被人封锁的危险,而开源就不会有这个问题,它完全公开透明。另外,开源也鼓励公司规划长线的技术投资,而不只是短线的利益操作。

腾讯这次主导阿帕奇社区 hadoop 新版本的发布,在国内算是首次吗?

A:对,以前都是由微软、Hortonworks 和 Cloudera 等国外大数据厂家轮流坐庄,而这个版本是第一次完全由国内的公司来支持的。从技术号召力或者对整个开源社区的影响力来说,可以鼓励国内的开发者和公司更积极地参与开源项目贡献,勇于承担更大的责任,更多地回馈开源社区。

给整个社会也带来了哪些积极的影响呢?

A:首先,大数据软件属于基础技术,这次平台是由腾讯做技术主导的,在国内算是一个突破。其次,对于开发者社区来说,也是比较可靠的一个社区、最热门的项目。

最后,对于普通人来说,也是可以从中受益的。因为基础平台能力的提高,也伴随着数据处理能力的提高,可以让大家的生活更方便。大数据时代到来之前,可能没有那么多面向数据的业务,比如地图业务、O2O 业务、智能推荐系统等等。包括现在极具话题性的 AI 人工智能,如果没有大数据平台的进步,也是发展不起来的。

之前是有技术难关的限制吗?

A:过去十年,中国的互联网公司发展很快,大家都以追求业务为主,在技术或开源方面做得不够,这是我们相较西方的短板。国内很多公司其实也尝试过开源,但它只有开源的代码,没有开源的社区,也就是自己觉得某个产品做得不错,就把源代码开放出来而已。

源代码的开放和开源社区是两回事,区别就是你这个开源的代码,其它第三方(尤其是你的生态合作伙伴)有没有能力来参与。

现在整个大数据的热潮,其实就是被几款开源的核心软件所推动的。中国的这些大公司在具备了经济实力之后,也开始以开源为手段想要构造一个更好的生态。这可能需要一个过程,但大家已经慢慢意识到这些基础软件跟开源结合的重要性了。

2018-06-13 07:321849
用户头像

发布了 24 篇内容, 共 17.0 次阅读, 收获喜欢 11 次。

关注

评论

发布
暂无评论
发现更多内容

MegEngine 动态执行引擎-Imperative Runtime 概述

MegEngineBot

深度学习 开源 动态图 MegEngine

提升效率:P4VFS让虚拟文件同步更迅速、更简单

龙智—DevSecOps解决方案

文件同步 虚拟文件同步 Virtual File Sync

中企出海管理难,复杂的国际形势下怎么用对人?

用友BIP

中企出海

再也不怕“卡脖子”了?华为云数据库GaussDB究竟有什么神奇功能?

YG科技

看过才知道,这套SpringCloudAlibaba笔记,把微服务玩的出神入化!

程序知音

Java 微服务 SpringCloud java架构 后端技术

聚焦 AIGC,函数计算为 AI 应用插上腾飞翅膀

Serverless Devs

Serverless FC AIGC

打卡有礼!快来 2023 开放原子全球开源峰会找龙蜥玩~

OpenAnolis小助手

开源 操作系统 龙蜥社区 开放原子全球开源峰会 龙蜥实验室

怎样区分试验与仿真的关系?

思茂信息

仿真软件 仿真技术

NFT全链游戏dapp系统开发合约定制

开发v-hkkf5566

Postman 前后端都适用吗?

Liam

前端 后端 开发 Postman API

肝到爆!通过Canal如何优雅的将MySQL同步到ES?

Java全栈架构师

Java MySQL 程序员 后端 ES

PAG动效框架源码笔记 (五)渲染流程

olinone

ios android 动效 渲染

TDengine 合作伙伴 +1,这次是「DaoCloud道客」

爱倒腾的程序员

涛思数据 时序数据库 ​TDengine

如何保障医疗机器人的功能与安全?这几条编码标准你一定要了解

龙智—DevSecOps解决方案

医疗机器人 编码标准

备战金九银十:大厂面试官必问MySQL连环炮全梳理,你扛得住嘛?

程序员小毕

Java MySQL 数据库 程序员 面试

嘉为蓝鲸研运一体化解决方案入选“鑫智奖”

嘉为蓝鲸

智能硬件 蓝鲸 金融数据

软件测试丨Allure2报告中添加用例支持tags标签、失败重试功能

测试人

程序员 软件测试 测试开发 测试用例 Allure

国外云主机:为你的业务提供全球级托管!

一只扑棱蛾子

云主机

运维人员福音!自定义插件为运维提供更多可能

嘉为蓝鲸

#运维 Python运维 Linux 运维

想让ChatGPT和低代码开发实现完美结合?看这篇文章就行!

加入高科技仿生人

低代码 数字化 ChatGPT

SpringBoot 升级所踩过的坑 (二)

技术小生

6 月 优质更文活动

优质高效!阿里内部超高质量的k8s+Jenkins笔记,技术与实战齐飞

程序知音

做开发5年,这8个高效开发好习惯我悟了🔥

引迈信息

程序员 前端 低代码 JNPF

软件测试/测试开发丨Allure2报告中添加附件-图片

测试人

程序员 软件测试 测试开发 Allure

【羊城晚报】WeOps智慧护航,传媒“领头羊”业务迈向新高度

嘉为蓝鲸

IT运维 传媒 传媒公司

华为云GaussDB,如何给世界一个更优选择?

YG科技

2023上海国际嵌入式展 | 如何通过人工智能驱动的自动化测试工具提升嵌入式开发效率

龙智—DevSecOps解决方案

嵌入式 嵌入式软件 嵌入式设计 嵌入式开发

下载量破 15000!龙蜥社区登陆阿里云 ACR 制品中心 TOP5 榜单

OpenAnolis小助手

阿里云 操作系统 容器镜像 龙蜥社区 Dragonwell

华为云GaussDB,如何为企业数字创新保驾护航?

YG科技

迈向新时代的英特尔代工服务:走差异化路径,坚持客户至上

最新动态

国内首家!主导Apache Hadoop新版本发布的,是腾讯云这位小哥哥_开源_云加社区_InfoQ精选文章