HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

Docker 将会让 Hadoop 部署更加简单快捷

  • 2015-06-24
  • 本文字数:1761 字

    阅读完需:约 6 分钟

近日,第八届全球 Hadoop 技术峰会在美国加州硅谷召开。作为全球规模最大的 Hadoop 盛会,本次会议吸引了大量的数据服务技术提供商和使用数据产品的企业的参加。在会议上,多家企业进行了 Hadoop 技术相关的报告。其中,很多企业谈到了开源容器引擎 Docker 对 Hadoop 的影响。接下来,本文就针对这些企业的报告及相关讨论内容进行摘要介绍。

BlueData 公司产品部的副总裁 Anant Chintamaneni 给出了“利用 Apache Ambari 进行自助配置和 Hadoop 管理”的报告。该公司由 VMware 公司的资深元老 Kumar Sreekant 和 Tom Phelan 在 2012 年创建。作为一家大数据框架软件的供应商,BlueData 之前推出了 EPIC 软件平台。EPIC 平台可以在任何硬件、任何服务器和任何存储环境下工作,简化大数据框架的部署工作。其目标在于实现 Hadoop 在任何私有数据中心中的直接部署。这样,用户利用 EPIC 就可以解决 I/O 性能瓶颈问题,并实现在虚拟化框架中多用户和多租户的便捷管理。在 EPIC 平台的免费版 EPIC Lite 中,BlueData 加入了对 Docker 容器的支持。它允许用户在笔记本电脑的 Docker 容器中启动虚拟 Hadoop 或者 Spark 集群。

Anant 在报告中指出,EPIC 选择支持 Docker 的主要原因在于,这种做法可以在保持容器简单性以及系统性能的同时,享受大数据应用程序虚拟化所带来的好处。BlueData 公司试图让开发人员和数据专家可以非常容易的创建所需要的集群,从而获得类似于 Cloudera 或 Hortonworks 的功能。只要用户通过笔记本电脑访问 Hadoop,享受了这其中所带来的好处,自然会申请使用支持多用户和多租户的企业版。MapR 公司的产品管理部副总裁 Tomer Shiran 表示,随着越来越多的人喜欢 Docker 容器,像 BlueData 这样的公司把 Docker 加入到所支持的 hypervisor 中也越来越有意义。几天前,BlueData 公司刚刚公布了 EPIC 的夏季发布版——1.5 版本。该版本集成了 Apache Ambari 和 Cloudera Manager,能够支持新版本的 Hadoop 和 Spark。

此外,作为一家 Hadoop 初创公司,Hortonworks 共进行了十几场报告。其中,该公司软件工程师Sidharta Seethana 与Altiscale 公司的高级软件工程师Abin Shahab 联合展示了一些把Docker 融入到Apache Hadoop YARN 的方案。作为一家“Hadoop 即服务”(Hadoop-as-a-Service)方案的提供商,Altiscale 之前已经决定在Docker 容器中运行Hadoop。尽管这种做法需要在没有YAR N 支持的情况下直接管理 Docker 容器,该公司却发现这种方法具有可重复性和可自动化这两种优点。

Hortonworks 则采用了两种方法来利用 Docker 容器运行 Hadoop。第一种方法是用 Docker 来直接运行 Hadoop。目前,这种做法需要用到 Cloudbreak 和 Hortonworks Data Platform(HDP)。通过使用 Docker 镜像,它可在微软 Azure、亚马逊 AWS、谷歌云平台等任何主流云平台上启动 HDP。第二种方法是通过 YARN 来使用 Docker 容器进行应用部署。HDP2.2 版本的技术预览中已经提到了该特性。

Hortonworks 的产品管理部副总裁 Tim Hall 表示,Docker 提供了一种完美隔离和打包 Hadoop 相关的应用程序的方法。该公司也在观察 Slider 框架和 Docker 如何能够一起合作来简化此类的部署工作。目前,Hortonworks 的一个客户已经在考虑他们自己的数据平台利用 HDP 支持 Docker 的方法。他们利用 Cloudbreak 在云中的 Docker 容器中部署 Hadoop,并计划把他们自己的数据应用程序制作成 Docker 镜像以便在 YARN 上运行。此外,很多用户也因为这种方式的敏捷性和兼容性,利用其进行未知环境的部署。

Hall 指出,与传统的在虚拟机或者 OpenStack 中使用 Hadoop 相比较,在 Docker 中运行 Hadoop 的好处包括了安装迅速、开发和产品采用同样的流程和镜像、单节点和多节点相同的流程等。而在 YARN 中运行 Docker 化的应用程序的好处包括更好的软件隔离性、开发和产品采用同样的流程和镜像以及应用程序更好的分发和版本控制。此外, Hall 透露,大数据应用的开发人员越来越倾向于利用 Docker 来运行其应用程序。而且,直接在裸机上运行 Docker 的趋势也越来越明显。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-06-24 04:086227
用户头像

发布了 268 篇内容, 共 122.3 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

快手、知乎等平台严厉打击“病媛”炒作行为:自媒体行业不能被流量裹挟

石头IT视角

华为云带你探秘Xtrabackup备份原理和常见问题分析

华为云数据库小助手

GaussDB 华为云数据库 MySQL 数据库 GaussDB(for MySQL)

智能大数据专场,百度智能云带来智能大数据产品架构全景图

百度大脑

人工智能 大数据

从工具、工具箱到数字化软件工厂——DevOps 设计理念与工程实践专场 | CIF 精彩看点

CODING DevOps

DevOps 数字化 研发工具 腾讯云 CIF 峰会

手把手教你使用Studio Lite + Digtal car!助力智能汽车场景、轻应用开发更轻松!

SOA开发者

音视频终端引擎优化实践

百度开发者中心

最佳实践 音视频 实践案例 智能视频 行业深度

东软熙康、百度、京东方,互联网医院的三个典型样本

海比研究院

掘金热榜第一!阿里P8用近十个月整理出来999页Java岗核心笔记限时开源!

Java 架构 面试 程序人生 编程语言

阿里巴巴架构师十年整理出的JavaSpringBoot核心文档,真是太全了

Java 架构 面试 程序人生 编程语言

【新品尝鲜】OCR磅单识别上线邀测,为货运物流提速增效

百度大脑

人工智能 OCR

目睹阿里技术官写的Tomcat架构笔记后,瞬间觉得自己是渣渣

Java 架构 面试 程序人生 编程语言

四面字节跳动(高级开发岗):分布式+中间件+TCP+JVM+Hashmap

Java 编程 架构 面试 计算机

提高工作效率的三种方法

石云升

团队管理 管理 引航计划 内容合集 9月日更

金九银十不要怕!有了腾讯这本2021年最新Java面试手册,offer手到擒来!

Java 程序员 架构 面试 后端

浪潮云洲荣获两项工业自动化及数字化行业年度大奖 inspur浪潮云 昨天

云计算

史上最全Java高频面试合集,命中率高达95%

Java 程序员 架构 面试 后端

超十年渗透专家总结出636页渗透测试全笔记,100课时一次讲清

Java 架构 面试 程序人生 编程语言

使用 grpcurl 通过命令行访问 gRPC 服务

AlwaysBeta

golang gRPC

搞不懂云原生

二哥不再迷茫

如何让文件共享 SDK 支持使用 Uri 上传文件

ZEGO即构

文件存储 分区存储 文件共享

互斥锁、自旋锁、读写锁...理清它们的区别和应用

行云创新

云计算 编程 开发 应用

如何做一场有趣又高效的迭代回顾会议?

万事ONES

Scrum 敏捷 回顾会

AlibabaP9力荐!最新出品1297页JDK源码+并发核心原理解析小册

Java 架构 面试 程序人生 编程语言

重磅来袭,虚拟化技术分类

hanaper

用Python绘制专业的K线图【含源代码】

恒生LIGHT云社区

拥抱开源,共建生态 - 开源生态与效能提升专场 | CIF 精彩看点

CODING DevOps

DevOps 研发效能 腾讯云 CIF 峰会 开源生态

智能网联汽车行业信息安全现状与威胁

SOA开发者

行云创新:云原生技术助力企业数字化转型

行云创新

技术 云原生 转型 数字化 平台

不得不聊一聊英语爱好者的单词杂货铺了

小匚

随笔杂谈 生活记录 英语 大学英语四六级 单词

图谱相关技术在风控反作弊中的应用和探索

百度Geek说

后端 软件架构

艾瑞发布《2021年中国企业级 SaaS 行业研究报告》,ONES 入选典型厂商案例

万事ONES

项目管理 SaaS 协同办公

Docker将会让Hadoop部署更加简单快捷_语言 & 开发_张天雷_InfoQ精选文章