写点什么

Apache 基金会主席 Doug Cutting 谈 Hadoop 和开源

  • 2012-01-17
  • 本文字数:1457 字

    阅读完需:约 5 分钟

在 2011 年 12 月 2 日举办的 Hadoop In China 2011 大会上, Apache 软件基金会主席 Doug Cutting 先生来到了中国,并做了有关开源和 Hadoop 的演讲。会前,InfoQ 中文站对 Doug Cutting 先生进行了专访。

Doug 是多个成功开源项目的创立者,包括 Lucene、Nutch 和 Hadoop。Doug 于 2009 年从 Yahoo! 加入 Cloudera,当时他所在的团队构建并部署了生产环境的 Hadoop 存储和分析集群,完成关键任务的业务分析,他是团队的主要成员。Doug 拥有斯坦福大学的学士学位,同时是 Apache 软件基金会董事会成员。

InfoQ**:Doug先生,非常欢迎您来到中国,您能先做个简单的自我介绍吗?**

Doug我叫 Doug Cutting,是一名软件开发人员,在硅谷工作多年。大概 11 年前,我开始做开源软件方面的工作。首先参与了 Lucene 搜索项目。后来,Lucene 被带到了 Apache 软件基金会中,我就在其中从事开源工作了,那是 10 年前。此后,我开始了又一个项目—— Nutch ,这也是一个 web 搜索技术;然后就是 Hadoop ,这个后来非常成功的项目。 过去 5 年左右,我一直在做 Big Data 和存储处理方面的工作。

InfoQ**:在您看来,人们使用Hadoop遇到的最大障碍是什么?您能提供一些建议让大家克服这些障碍么?**

Doug教育问题,在我看来是最大的问题。 使用 Hadoop,需要不同的思考和计算方式,现在也已经有了一些书籍和课程,能够帮大家克服这些问题。随着理解它的人越来越多,我相信传播得也会越来越快。是有一些技术上的障碍和社会层面上的障碍,不过这些问题解决起来更容易,因为技术和相关社区都在发展。但是首先人们要明白 Hadoop 背后的机制。

InfoQ**:对于大规模应用来说,监控非常重要。说到监控运行Hadoop的应用,您能列举出最重要的三个监控指标吗?还有您选择这三个的原因?**

DougHadoop 的目标是以低成本、高效率的方式来做事情。你的硬件使用率是一个很好的指标,比如 CPU 的使用率、磁盘的使用率等等,你有没有完全把资源的利用起来。

与其一起的,你还希望利用高效的算法,当然,这很难监控,需要在一开始就想清楚。一旦开始运行后,要保证所有的资源都能高效利用,有时候很困难,需要在分布式系统里的输入、输出、计算这三者之间取得平衡。这些是最底层要监控的东西。

当然,还有错误和失败等等,这些也是很重要的东西。分布式系统内的调试要更为困难。知道什么时间、哪里出了问题,此类报表对于寻找问题根源是很有帮助的。 同时,某些应用的特定报表也很重要,比如把某些运行进度报告给用户。

InfoQ:接下来是关于开源软件的问题:从技术角度看,您认为哪个开源项目将会成为下一个“超级巨星”?

Doug我想 HBase 正在不断吸引更多眼球,它在变得越来越稳定、性能越来越高效。我对于 HBase 的进展非常兴奋,我想很多机构将来都会用到它,从中获得价值。

InfoQ:您有很多开源项目方面的经验,能否介绍下您如何激励大家参与开源项目、并为其不断做出贡献?

Doug最重要的事情,是倾听其他人,试图理解他们为什么要做某些事情。我们每个人都很自然地把注意力放在自己的需要上。要想一起协作做某些事情,我们必须理解其他人的需求。所以,有礼貌地倾听、理解、接受其他人的需求,并试图找出大家可以一起工作的方式方法,这是开源项目中最重要的技能。

Doug Cutting 先生在本次大会上的两个演讲也将在不久后在 InfoQ 中文站上发布,请大家保持关注。

被采访的视频,请访问优酷版本


给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012-01-17 21:236289
用户头像

发布了 479 篇内容, 共 167.0 次阅读, 收获喜欢 52 次。

关注

评论

发布
暂无评论
发现更多内容

百度APP iOS端包体积50M优化实践(六)无用方法清理

百度Geek说

ios 百度app 企业号9月PK榜

GLTF编辑器的另一个作用:格式转换

3D建模设计

格式转换 GLTF glb

人工智能在云计算中能发挥什么作用?

Finovy Cloud

基于Java开发的neo4j知识图谱、elasticsearch全文检索的数字知识库

金陵老街

开源框架中的责任链模式实践

vivo互联网技术

dubbo 设计模式 sentinel 责任链

CocoaPods 在iOS开发中养活了这么多项目,它到底是个啥? | 京东云技术团队

京东科技开发者

ios CocoaPods 移动开发 企业号9月PK榜

慢SQL原因分析之索引失效 | 京东物流技术团队

京东科技开发者

MySQL 数据库 sql 索引失效 企业号9月PK榜

ELT in ByteHouse 实践与展望

字节跳动数据平台

数据库 大数据 云原生 数仓 企业号9月PK榜

传媒软件的未来变革与发展趋势

百度开发者中心

传媒 生成式AI 千帆大模型平台

数据驱动创新,应用场景广泛

百度开发者中心

人工智能 数据分析 生成式AI 千帆大模型平台

中移链交易模块介绍

BSN研习社

OpenHarmony创新赛 | 您有一份创新激励奖待领取 请查收!

OpenHarmony开发者

OpenHarmony

美国2009年开始入侵华为总部服务器;马斯克脑机公司将进行首次人体试验;全球首个5G卫星电话拨通丨RTE开发者日报 Vol.54

声网

GLTF编辑器:在线模型材质编辑工具

3D建模设计

纹理处理 GLTF 材质修改

什么是模型混合模式?

3D建模设计

3D模型 gltf编辑器

AITO问界全系迎规模最大范围OTA升级,重新定义“智能天花板”

极客天地

企业微信针对百万级组织架构的客户端性能优化实践

JackJiang

网络编程 即时通讯 IM

Mac电脑版MarkDown写作推荐 iA Writer 激活中文最新版

胖墩儿不胖y

markdown Mac软件 Markdown 编辑器 写作软件

软件定义汽车时代,1 亿行代码的安全保障,极狐GitLab 这么做!

极狐GitLab

gitlab 安全 DevSecOps 汽车 安全左移

HarmonyOS创作激励计划启动:助力技术创作突破边界

HarmonyOS开发者

HarmonyOS

PWA建快应用,小程序建超级App?

没有用户名丶

百度智能云千帆大模型平台 2.0 产品技术解析

Baidu AICLOUD

异构计算 百度百舸 千帆大模型平台

成功入选 2023 谷歌出海创业加速器,Tapdata 乘势远航

tapdata

数据采集 数据集成 Tapdata

浅入深出的微前端MicroApp | 京东云技术团队

京东科技开发者

前端 React 微前端 企业号9月PK榜

新生产力范式,重塑工作效率

百度开发者中心

人工智能 ChatGPT 生成式AI

Apache基金会主席Doug Cutting谈Hadoop和开源_开源_郑柯_InfoQ精选文章