写点什么

Docker 将会让 Hadoop 部署更加简单快捷

  • 2015-06-24
  • 本文字数:1761 字

    阅读完需:约 6 分钟

近日,第八届全球 Hadoop 技术峰会在美国加州硅谷召开。作为全球规模最大的 Hadoop 盛会,本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上,多家企业进行了 Hadoop 技术相关的报告。其中,很多企业谈到了开源容器引擎 Docker 对 Hadoop 的影响。接下来,本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData 公司产品部的副总裁 Anant Chintamaneni 给出了“利用 Apache Ambari 进行自助配置和 Hadoop 管理”的报告。该公司由 VMware 公司的资深元老 Kumar Sreekant 和 Tom Phelan 在 2012 年创建。作为一家大数据框架软件的供应商,BlueData 之前推出了 EPIC 软件平台。EPIC 平台可以在任何硬件、任何服务器和任何存储环境下工作,简化大数据框架的部署工作。其目标在于实现 Hadoop 在任何私有数据中心中的直接部署。这样,用户利用 EPIC 就可以解决 I/O 性能瓶颈问题,并实现在虚拟化框架中多用户和多租户的便捷管理。在 EPIC 平台的免费版 EPIC Lite 中,BlueData 加入了对 Docker 容器的支持。它允许用户在笔记本电脑的 Docker 容器中启动虚拟 Hadoop 或者 Spark 集群。

Anant 在报告中指出,EPIC 选择支持 Docker 的主要原因在于,这种做法可以在保持容器简单性以及系统性能的同时,享受大数据应用程序虚拟化所带来的好处。BlueData 公司试图让开发人员和数据专家可以非常容易的创建所需要的集群,从而获得类似于 Cloudera 或 Hortonworks 的功能。只要用户通过笔记本电脑访问 Hadoop,享受了这其中所带来的好处,自然会申请使用支持多用户和多租户的企业版。MapR 公司的产品管理部副总裁 Tomer Shiran 表示,随着越来越多的人喜欢 Docker 容器,像 BlueData 这样的公司把 Docker 加入到所支持的 hypervisor 中也越来越有意义。几天前,BlueData 公司刚刚公布了 EPIC 的夏季发布版——1.5 版本。该版本集成了 Apache Ambari 和 Cloudera Manager,能够支持新版本的 Hadoop 和 Spark。

此外,作为一家 Hadoop 初创公司,Hortonworks 共进行了十几场报告。其中,该公司软件工程师Sidharta Seethana 与Altiscale 公司的高级软件工程师Abin Shahab 联合展示了一些把Docker 融入到Apache Hadoop YARN 的方案。作为一家“Hadoop 即服务”(Hadoop-as-a-Service)方案的提供商,Altiscale 之前已经决定在Docker 容器中运行Hadoop。尽管这种做法需要在没有YAR N 支持的情况下直接管理 Docker 容器,该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks 则采用了两种方法来利用 Docker 容器运行 Hadoop。第一种方法是用 Docker 来直接运行 Hadoop。目前,这种做法需要用到 Cloudbreak 和 Hortonworks Data Platform(HDP)。通过使用 Docker 镜像,它可在微软 Azure、亚马逊 AWS、谷歌云平台等任何主流云平台上启动 HDP。第二种方法是通过 YARN 来使用 Docker 容器进行应用部署。HDP2.2 版本的技术预览中已经提到了该特性。

Hortonworks 的产品管理部副总裁 Tim Hall 表示,Docker 提供了一种完美隔离和打包 Hadoop 相关的应用程序的方法。该公司也在观察 Slider 框架和 Docker 如何能够一起合作来简化此类的部署工作。目前,Hortonworks 的一个客户已经在考虑他们自己的数据平台利用 HDP 支持 Docker 的方法。他们利用 Cloudbreak 在云中的 Docker 容器中部署 Hadoop,并计划把他们自己的数据应用程序制作成 Docker 镜像以便在 YARN 上运行。此外,很多用户也因为这种方式的敏捷性和兼容性,利用其进行未知环境的部署。

Hall 指出,与传统的在虚拟机或者 OpenStack 中使用 Hadoop 相比较,在 Docker 中运行 Hadoop 的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在 YARN 中运行 Docker 化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外, Hall 透露,大数据应用的开发人员越来越倾向于利用 Docker 来运行其应用程序。而且,直接在裸机上运行 Docker 的趋势也越来越明显。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-06-24 04:086418
用户头像

发布了 268 篇内容, 共 128.0 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

龙芯浏览器是哪家公司开发的?支持信创吗?

行云管家

浏览器 信创 国产化 龙芯浏览器

安全审计 合约审计:代币开发公司的一个关键方面

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发

vivo 网络端口安全建设技术实践

vivo互联网技术

网络端口风险治理 端口扫描 流量行为基线 端口管理规范 漏洞扫描平台

如何在嵌入式软件开发的过程中使用DevSecOps方法,提升开发效率与安全性

龙智—DevSecOps解决方案

DevOps DevSecOps

万界星空科技MES与WMS如何集成的?

万界星空科技

数字化转型 工业互联网 wms mes 3D仓库

您的代理记账企业的数字化保卫和合作伙伴-智慧云

知者如C

探秘英伟达显卡的制造之路 | 英伟达断供GPU,中国大模型何去何从?

GPU算力

趋势:国产数据库发展的五个一体化

科技热闻

KiCon Asia 2023 深圳

华秋电子

KiCon

全网累计销量TOP 1的TCL超薄嵌入式冰箱,跟着选0出错!

科技热闻

Windows、Linux 和 Mac:操作系统之间的比较

小齐写代码

飞码LowCode前端技术:如何便捷配置出页面 | 京东云技术团队

京东科技开发者

前端 低代码 低代码平台 企业号11月PK榜

混音师必备软件:iZotope Ozone 11激活最新

胖墩儿不胖y

Mac软件 音频处理工具 母带处理软件

机械加工行业云MES解决方案

万界星空科技

工业互联网 制造业 生产管理系统 mes 机械臂

Nginx 知识点一网打尽:动静分离、压缩、缓存、跨域、高可用、性能优化

郑在暴富中

nginx 高可用 反向代理

Kontakt Factory Library 2(Kontakt原厂音色库)

展初云

Mac软件 音色库 Kontakt

活动回顾|OpenTiny 参与线下大会:共创开源未来,助力低代码技术创新

OpenTiny社区

开源 前端 低代码 UI组件库

TiDB基础运维操作汇总

TiDB 社区干货传送门

管理与运维 故障排查/诊断 6.x 实践

自动化API测试工具ReadyAPI新增业务历史记录功能

龙智—DevSecOps解决方案

ReadyAPI

MegEngine 9-10 双月报:新版本发布,AI 生态升级,不容错过!

MegEngineBot

深度学习 开发者 开源社区 MegEngine

PCB设计安规丨电气间隙与爬电距离要点

华秋电子

观测云产品更新 | 单点登录新增 OIDC / Oauth2.0 协议、数据转发优化、场景优化等

观测云

可观测性 单点登录 #数据分析

OpenTiny Vue 3.11.0 发布:增加富文本、ColorPicker等4个新组件,迎来了贡献者大爆发!

OpenTiny社区

开源 TinyVue 前端组件库

新形势下芯片研发如何实现数智化转型,革“芯”未来?龙智即将携手Perforce及Atlassian亮相ICCAD 2023

龙智—DevSecOps解决方案

ICCAD

一站式IT统一运维管理平台有哪些?大家都在用哪个?

行云管家

IT运维 运维管理 统一运维

【实践篇】一次Paas化热部署实践分享 | 京东云技术团队

京东科技开发者

热部署 PaaS平台化能力 企业数字化 PaaS 平台 企业号11月PK榜 Paas化

jar包的精细化运营,Java模块化简介 | 京东云技术团队

京东科技开发者

Java Java9 模块化 jar包

TiDB x 北京银行丨新一代分布式数据库的探索与实践

TiDB 社区干货传送门

实践案例

TiDB故障处理之让人迷惑的Region is Unavailable

TiDB 社区干货传送门

集群管理 故障排查/诊断 扩/缩容

【TiDB 社区智慧合集】史上最全的 158篇 TiDB 用户实践合集来啦!千万不要错过!

TiDB 社区干货传送门

Docker将会让Hadoop部署更加简单快捷_语言 & 开发_张天雷_InfoQ精选文章