写点什么

Docker 将会让 Hadoop 部署更加简单快捷

  • 2015-06-24
  • 本文字数:1761 字

    阅读完需:约 6 分钟

近日,第八届全球 Hadoop 技术峰会在美国加州硅谷召开。作为全球规模最大的 Hadoop 盛会,本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上,多家企业进行了 Hadoop 技术相关的报告。其中,很多企业谈到了开源容器引擎 Docker 对 Hadoop 的影响。接下来,本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData 公司产品部的副总裁 Anant Chintamaneni 给出了“利用 Apache Ambari 进行自助配置和 Hadoop 管理”的报告。该公司由 VMware 公司的资深元老 Kumar Sreekant 和 Tom Phelan 在 2012 年创建。作为一家大数据框架软件的供应商,BlueData 之前推出了 EPIC 软件平台。EPIC 平台可以在任何硬件、任何服务器和任何存储环境下工作,简化大数据框架的部署工作。其目标在于实现 Hadoop 在任何私有数据中心中的直接部署。这样,用户利用 EPIC 就可以解决 I/O 性能瓶颈问题,并实现在虚拟化框架中多用户和多租户的便捷管理。在 EPIC 平台的免费版 EPIC Lite 中,BlueData 加入了对 Docker 容器的支持。它允许用户在笔记本电脑的 Docker 容器中启动虚拟 Hadoop 或者 Spark 集群。

Anant 在报告中指出,EPIC 选择支持 Docker 的主要原因在于,这种做法可以在保持容器简单性以及系统性能的同时,享受大数据应用程序虚拟化所带来的好处。BlueData 公司试图让开发人员和数据专家可以非常容易的创建所需要的集群,从而获得类似于 Cloudera 或 Hortonworks 的功能。只要用户通过笔记本电脑访问 Hadoop,享受了这其中所带来的好处,自然会申请使用支持多用户和多租户的企业版。MapR 公司的产品管理部副总裁 Tomer Shiran 表示,随着越来越多的人喜欢 Docker 容器,像 BlueData 这样的公司把 Docker 加入到所支持的 hypervisor 中也越来越有意义。几天前,BlueData 公司刚刚公布了 EPIC 的夏季发布版——1.5 版本。该版本集成了 Apache Ambari 和 Cloudera Manager,能够支持新版本的 Hadoop 和 Spark。

此外,作为一家 Hadoop 初创公司,Hortonworks 共进行了十几场报告。其中,该公司软件工程师Sidharta Seethana 与Altiscale 公司的高级软件工程师Abin Shahab 联合展示了一些把Docker 融入到Apache Hadoop YARN 的方案。作为一家“Hadoop 即服务”(Hadoop-as-a-Service)方案的提供商,Altiscale 之前已经决定在Docker 容器中运行Hadoop。尽管这种做法需要在没有YAR N 支持的情况下直接管理 Docker 容器,该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks 则采用了两种方法来利用 Docker 容器运行 Hadoop。第一种方法是用 Docker 来直接运行 Hadoop。目前,这种做法需要用到 Cloudbreak 和 Hortonworks Data Platform(HDP)。通过使用 Docker 镜像,它可在微软 Azure、亚马逊 AWS、谷歌云平台等任何主流云平台上启动 HDP。第二种方法是通过 YARN 来使用 Docker 容器进行应用部署。HDP2.2 版本的技术预览中已经提到了该特性。

Hortonworks 的产品管理部副总裁 Tim Hall 表示,Docker 提供了一种完美隔离和打包 Hadoop 相关的应用程序的方法。该公司也在观察 Slider 框架和 Docker 如何能够一起合作来简化此类的部署工作。目前,Hortonworks 的一个客户已经在考虑他们自己的数据平台利用 HDP 支持 Docker 的方法。他们利用 Cloudbreak 在云中的 Docker 容器中部署 Hadoop,并计划把他们自己的数据应用程序制作成 Docker 镜像以便在 YARN 上运行。此外,很多用户也因为这种方式的敏捷性和兼容性,利用其进行未知环境的部署。

Hall 指出,与传统的在虚拟机或者 OpenStack 中使用 Hadoop 相比较,在 Docker 中运行 Hadoop 的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在 YARN 中运行 Docker 化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外, Hall 透露,大数据应用的开发人员越来越倾向于利用 Docker 来运行其应用程序。而且,直接在裸机上运行 Docker 的趋势也越来越明显。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-06-24 04:086216
用户头像

发布了 268 篇内容, 共 121.8 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

平行世界有尽头:白洞的数字孪生之旅

白洞计划

激发Linux+K8S小宇宙!SUSECON硬核上线

Rancher

【案例】星环科技助力郑州商品交易所搭建AI预测模型,提升智能决策水平

星环科技

Oozie平台调度

大数据技术指南

oozie 4月日更

让孩子爱上阅读(三)

箭上有毒

读书笔记 4月日更

国内首个全院级医疗区块链基础设施成功部署应用

CECBC

区块链

百分点认知智能实验室李生教授:人工智能正在由感知走向认知

百分点认知智能实验室

架构训练营模块 2 作业 - 江哲

江哲

平行世界有尽头:白洞的数字孪生之旅

脑极体

架构实战营 模块二 如何抓住架构设计的关键点

9527

【AI全栈SOTA综述 】这些你都不知道,怎么敢说会AI?【语音识别原理+实战】

cv君

AI 算法 音视频 引航计划

架构实战营-模块2作业

夏日

架构训练营

聪明人的训练(十八)

Changing Lin

4月日更

数字经济需发展隐私计算下的数据共享

CECBC

数字经济

业务架构训练营第 0 期模块二作业

菠萝吹雪—Code

架构实战营

数字货币——来看党媒怎么说

CECBC

数据仓库为什么要分层

五分钟学大数据

数据仓库 4月日更

架构实战营模块2作业

阿体

模块二作业:微信朋友圈高性能复杂度分析

@oo?金樱子

架构师实战营 模块二作业 微信朋友圈高性能架构分析

好吃不贵

微服务网关:Nacos源码实践(二)

程序员架构进阶

源码分析 nacos 服务治理 28天写作 4月日更

架构训练营 模块二作业

薛定谔的指南针

架构实战营

百度、小红书三面,均遇“赛马”问题

执鸢者

面试 大前端

带团队:只有人的行为才能影响行为

石云升

团队建设 28天写作 职场经验 管理经验 4月日更

Toolkit 大更新:UI 更美观,用起来更方便!

程序员小航

Java IDEA idea插件 IntelliJ IDEA JSON格式化

架构师实战营-模块二作业

大可

架构实战营 模块二 课后作业

Lingjun

架构训练营

架构实战营 模块二作业

netspecial

架构实战营

模块二 分析微信朋友圈的高性能复杂度

ifc177

Sqlserver2008参数化踩的坑

风翱

SqlServer 4月日更

微信朋友圈高性能架构复杂度分析

Hesher

微信 架构 高性能 微信朋友圈 架构实战营

Docker将会让Hadoop部署更加简单快捷_语言 & 开发_张天雷_InfoQ精选文章