AIGC在金融场景是如何落地的? 了解详情
写点什么

Hadoop 创始人 Doug Cutting 寄语 2017:五种让开源项目成功的方法

  • 2017-01-11
  • 本文字数:1896 字

    阅读完需:约 6 分钟

搭建一个开源平台,组织就能利用云供应商套利来降低成本

由于 Doug Cutting 和 Apache 软件基金会有多年的合作关系,于是经常被问到“什么是开源技术的未来?”。Doug 的回应一般要么是“我不知道”,要么是“有无穷的可能性”。

在过去的一年中,我们已经看到开源技术强势的发展成了企业的技术主流。谁会想到十年前 Doug 在 Hadoop 所做的工作会影响到那么多的行业,从制造到电信,再到金融等等。它们都掌握了开源生态系统的力量,不仅改善了客户的体验,变得有创新性并获得了利润增长,而且支持对社会有更大利益的工作,比如通过基因组研究、精密医学等项目来阻止人口贩卖,这仅仅是一小部分例子。

有人会很好奇如何开始着手进行开源工作,以及从不断变化的生态系统里期望能得到什么,下面 Doug 列出 5 个小贴士:

1. 拥抱开源的不断改变和演进
不断地变化,这是每一个刚接触开源技术的人需要学习的第一课,也是开源有别于传统软件的最大不同之处。开源的本质是易变、灵活,它的新项目常常起源于一些特别的用例。这种动态的循环促使产品变得更好、更快。因此,公司如果想从开源获得完全的好处,他们必须对技术转变保持开放的心态。Spark 和 MapReduce 的辩论就完美的体现了这点的重要性:

事实上,人们在构建新的应用时,MapReduce 用得越来越少,而 Spark 成为他们默认的数据处理引擎。MapReduce 正逐渐成为 Hive、Pig 的底层引擎,这并不意味着它过时了。它还会为现存应用很好地工作很多年,而且对某些大规模批量加载来说仍然是卓越的工具。这一趋势遵循开源技术的自然演进:MapReduce 是开源数据生态系统的 1.0 引擎,Spark 是 2.0,而某一天会出现 3.0 让 Spark 成为历史。

2. 当引入一个新技术栈时,从小开始、由上而下
先不去考虑要构建、部署什么样的解决方案,我们现在有了很多通用数据平台和很多工具,它们能灵活地组合在一起去做搜索、流处理、机器学习还有更多事情。这些工作需要的不仅仅是一套不同的技能,而且还需要管理方式、组织结构等在文化上的转变。为此,重要的是要获得组织内高层的支持,并让数据管理列入董事会层面的一项重点议题。同时,建议拿一些新的应用来逐步建立一个新文化,而不是要取代所有的一切,这样可以让大家通过一个个具体的用例来适应这个变化。

3. 仔细挑选开源软件以避免云供应商捆绑
随着使用云计算的企业组织和产业越来越多,应该考虑到开源软件不仅会带来越来越好的健壮性、可扩展性和安全性,而且也可以帮助他们避免被云供应商捆绑。通过开源平台的构建,组织可以采用云供应商套利以降低成本,可以使用不同地域的不同云,或者基于云和内部部署的混合方式。事实上,开源平台已经证明了自己的技术优越性,2017 年也许会取得更多的落地。大量的机构通过开源项目进行合作,单一的供应商要去竞争是很困难的。例如,现在那些开源数据系统在性能和灵活性上就处于领先地位,并且改进得更加迅速。

4. 对求职者来说,开源生态环境里要关注森林,而不是树木
IT 领域的求职者,不管是编程还是数据科学,不应该仅仅专注于掌握个别技术,而应该关注理解开源数据生态系统各个组成部分的最佳利用,以及如何把它们连接起来解决问题。这种上层建筑的理解是企业在技术创新中最有价值的技能。随着新技术的到来,至关重要的是了解它们的适应力如何、它们能取代什么、它们能做到什么。

5. 在技能缺口中寻找机会
大数据的技能缺口将在明年保持相对稳定,但这不应该成为人们采用 Hadoop 以及其它开源技术的阻碍。大多数人都知道,当新的技术被创造出来并争夺用户时,它们对外界而言是很陌生的。只有当一个特定类型的软件成为某个规范的成熟而标准的一部分,才会开始出现大量熟练使用它的人,而即使如此仍然会存在技能缺口。只有当我们不再对技术栈做大的改进时,才会消除这种缺口,不过 Doug 不认为我们会希望这样做。简而言之,技能缺口是影响平台变革速度的主要因素之一,也是即将来临的创新的标志。

结论

在未来的几年内,开源生态系统将继续扩大,也会不断地在有实际意义的项目里实施。它汇聚了今天最聪明的头脑,在通力合作下,以十年前不可能的速度推进软件开发。如果你想改善现有技术,或者想支持打破传统的观念,可以加入这里。Doug 鼓励每个人都有兴趣参与进来,也鼓励经验丰富的人因为这个原因继续坚持下去。点击这里可以了解更多如何加入ASF 社区的信息。

查看英文原文 5 Ways to Be Successful with Open-Source Software: Hadoop Creator Doug Cutting’s Advice for 2017


感谢刘志勇对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-01-11 18:002220
用户头像

发布了 43 篇内容, 共 32.8 次阅读, 收获喜欢 135 次。

关注

评论

发布
暂无评论
发现更多内容

这样的二维码,你见过吗?

诸葛小猿

Java Python 后端 二维码 myqr

开发者必备——API设计问题

Noneplus

golang内存对齐

PONPON

go内存对齐 Go 语言

依旧乐观的李彦宏,十年寻光的百度AI

脑极体

架构师训练营-作业5

紫极

分布式缓存与消息队列

紫极

架构师训练营第六周总结

Melo

极客大学架构师训练营

重学 Java 设计模式:实战访问者模式「模拟家长与校长,对学生和老师的不同视角信息的访问场景」

小傅哥

设计模式 小傅哥 重构 代码优化 访问者模式

Struct embedding in Go

Interstate5

time.Time dynamodb apigateway Go 语言

华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模

数据湖洞见

大数据 FusionInsight MRS 华为云

数据分析师成长体系漫谈-数仓模型设计

analysis-lion

学习 数据仓库 数据分析 随笔杂谈

kubernetes集群安装(二进制)

小小文

Kubernetes 容器

毕业三年了,我开始明白为什么说三年是一个坎

鄙人薛某

程序员 程序人生 职场回顾

Scala中如何优雅地实现break操作

吴慧民

scala

聊聊Spring的IOC以及JVM的类加载

小隐乐乐

typora设置图片自动上传,实现快速发文章

诸葛小猿

Typora PicGo gitee 上传图片

redis系列之——分布式锁

诸葛小猿

Java redis 分布式 分布式锁

Newbe.Claptrap 框架入门,第一步 —— 创建项目,实现简易购物车

newbe36524

Docker Reactive ASP.NET Core

JVM中栈的frames详解

程序那些事

JVM 堆栈 性能调优 JIT GC

鲲鹏说:高考之路你们走,高考阅卷我来守

脑极体

如何通过DDD构建一辆汽车

冯文辉

领域驱动设计 DDD

信创舆情一线--5省发布区块链发展计划

统小信uos

区块链 舆情

统一物品编码破解追溯“断链”困局

CECBC

数据库分片

Arthur

技术选型课程小结

梅子黄时雨

极客大学架构师训练营

如何学习Visual Studio Code

博文视点Broadview

学习 读书笔记 vscode 能力提升 编辑器

啃碎并发(七):深入分析Synchronized原理

猿灯塔

Java

ArrayList源码阅读

慌张而黑糖

ArrayList 源码阅读

阿里四面你都知道吗?

java金融

Java 程序员 互联网 阿里 简历

Hadoop大数据存算分离下,如何解决新旧存储共存?

XSKY融合存储

浅析 VO、DTO、DO、PO 的概念、区别和用处!

Java小咖秀

学习 设计模式 模型 经验分享

  • 扫码添加小助手
    领取最新资料包
Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法_语言 & 开发_Doug Cutting_InfoQ精选文章