写点什么

Apache 拟在 Docker 中运行 Hadoop

  • 2014-09-04
  • 本文字数:840 字

    阅读完需:约 3 分钟

Apache 在其 Hadoop wiki 上整理了 Docker 中运行 Hadoop 的优势,以及要完全在 Docker 中运行 Hadoop 所需要完成的工作。在 Docker,或者说其它容器中运行 Hadoop YARN 有很多优势,具体如下:

  1. 软件依赖和配置的隔离:在 Docker 中运行的应用,其软件依赖和配置是与宿主机完全没有关系的,跟其其它行在 Docker 中的应用也没有关系;
  2. 安全性:运行在 Docker 中的应用,在没有主动配置的情况下,基本没有办法访问(即便是 Docker 镜像中的 root 权限)宿主文件系统的内容,这可以很好的保护宿主文件系统、设备等等;
  3. 性能隔离:Docker 可以对应用所需要的资源,如 CPU 计算资源、内存资源、存储资源、带宽等进行调控;
  4. 一致性:只要是源自同一个 Docker 镜像,所有的任务就具有完全一致的软件环境,跟宿主环境无关。比如一个 Ubuntu 镜像可以像使用真正 Ubuntu 系统一样利用其特性,哪怕宿主机器是 RHEL;
  5. 快速部署:Docker 有着强大的镜像存储和分发能力,开发者可以很方便的从镜像中心获取 Hadoop YARN 应用的镜像;
  6. 可编程:通过 Dockerfile,开发者可以非常方便地对 YARN 应用的文件系统、环境配置和运行的脚本进行设置;

虽然容器的优势是明显的,但是目前 Docker 和 YARN 的情况却无法支撑完全在 Docker 中运行 Hadoop YARN 任务,Apache 提出需要对 Docker 和 YARN 进行修改的想法,并给出了一些目前计划的工作:

  1. YARN 的 Docker 执行器;
  2. Docker 需要支持 user namespaces,以便可以将 Docker 镜像中的 root 用户映射到宿主机的普通用户,来控制用户对宿主文件系统的访问;
  3. 容器的网络配置:这项工作主要为了让 YARN 的主节点同其他节点通信,Docker 现有的 NAT IP 地址不允许运行在某个镜像中的任务访问另外一台物理宿主上运行的其他任务;
  4. 动态配置资源限制:目前 Docker 不支持动态对镜像资源进行配置;

感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-04 03:483179
用户头像

发布了 268 篇内容, 共 127.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

使用 Tye 辅助开发 k8s 应用竟如此简单(一)

newbe36524

Docker 微服务 k8s dotnet

架构师系列 15 系统设计图

桃花原记

开发质量提升系列:标准模板(上)

罗小龙

方法论 28天写作

前端工程师的一大神器——puppeteer

执鸢者

大前端 Node puppeteer

第十周命题作业

cc

第三周作业

秦挺

架构师训练营第五周作业

跳蚤

智能汽车vs.智能手机 (28天写作 Day24/28)

mtfelix

智能手机 28天写作 智能汽车 未来社会 未来游牧化

你知道什么是敏捷交换机吗?

死锁问题

武哥聊编程

Java 多线程 死锁

28天瞎写的第二百三十四天:炒肝你吃得惯吗?

树上

28天写作

架构总结思维导图

Mars

如何完成一次快速的查询

xcbeyond

MySQL ES 优化 MySQL优化 28天写作

ARTS打卡 第29周

引花眠

微服务 ARTS 打卡计划

第十周课后练习

Binary

架构师训练营 4 期 第5周

引花眠

架构师训练营 4 期

Soul网关源码解析目录

Java 网关 源码解析

架构师训练营第五周学习总结

跳蚤

怎么才能摸透String类的底层原理?看完这篇你就懂了

后台技术汇

28天写作

ReentrantReadWriteLock读写锁简单原理案例证明

叫练

ReentrantReadWriteLock 共享锁 独占锁 锁降级

Scrum Patterns:准备就绪的标准 DoR(译)

Bruce Talk

敏捷 译文 Agile Scrum Patterns

CSS(十)——用CSS设置表格样式

程序员的时光

程序员 大前端 七日更 28天写作

Pulsar 社区周报|2021-01-18 ~ 2021-01-24

Apache Pulsar

大数据 开源 pulsar Apache Pulsar 消息系统

个人隐私之后期展望

张老蔫

28天写作

架构入门感悟总结

笑春风

在nodejs中创建cluster

程序那些事

nodejs cluster 程序那些事 childprocess workerThread

产品经理训练营笔记-解决方案的设计和积累

.nil?

产品经理训练营

「架构师训练营 4 期」 第五周 - 001&2

凯迪

第十周学习心得

cc

产品的解决方案设计原则

🙃

产品经理

LeetCode题解:433. 最小基因变化,双向BFS(beats 99%),JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

Apache拟在Docker中运行Hadoop_开源_张天雷_InfoQ精选文章