写点什么

Elastic Mesos 服务实现 EC2 中集群自动化部署

  • 2013-12-23
  • 本文字数:1045 字

    阅读完需:约 3 分钟

EC2 用户现在能够自动化部署 Apache Mesos 了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司 Mesosphere 所提供的一个称为 Elastic Mesos 的新 Web 服务实现规模化。

该服务在本质上类似于 Amazon 的 Elastic MapReduce ,因为它会在 Amazon EC2 实例上安装 Mesos 依赖的所有内容,包括 Zookeeper 和 HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与 Elastic Mesos 相关的费用,所以你只需要为自己使用的 EC2 付费。Elastic Mesos 现在建议的集群大小限制为 6 个或者 us-east-1 区域中的 18 个 m1.large 实例,这受制于按需实例的价格

你能够通过 Elastic Mesos 用户界面中所提供的三步操作完成一个 Mesos 集群的部署,在此过程中你只需要指定想要的集群大小、EC2 证书和一个接收通知的 email 地址即可。完成时间很大程度上取决于 EC2 实例的配置时间,不同的人可能不一样,Mesosphere 估计集群准备好之前大约需要 20 分钟的时间。

Mesos 最初是由 UC Berkeley作为一个研究项目开发的,之后Twitter 迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter 的高级副总裁Christopher Fry 将Mesos 看作是“自己版本的弹性计算”,现在它已经是 Apache 的一个顶级项目了。围绕着 Mesos 开发一款产品对于 Mesosphere 而言非常有意义,它的创建者 Flo Leibert 和 Tobi Knaup 之前在 Twitter 和 Airbnb 工作,这两家公司是 Mesos 的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在 Mesos 的技术支持名单中找到像 Vimeo、OpenTable 或者 UC Berkeley 这样的大牌。

Elastic Mesos 类似于 Apache Whirr ,后者是一个能够运行并管理云端服务的开源类库,但是 Whirr 并不支持 Mesos 。即使是这样,Elastic Mesos 提供了一个自包含的服务,而 Whirr 则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是 Mesos 向主流采用迈出的第一大步,人们经常搞混的一个项目是 Hadoop YARN 。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止 YARN 的采用率更高,因为它是 Hadoop 2 事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是 Twitter 上的社区响应大部分都是正面的。在 2013 年 12 月份的 Spark Summit 上也已经有了一个教程,该教程详细描述了如何在 Elastic Mesos 上运行 Spark,该教程在 Spark 社区中引起了非常好的反响。

查看英文原文 Elastic Mesos service automates Mesos cluster deployment in EC2

2013-12-23 08:521483
用户头像

发布了 321 篇内容, 共 120.7 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

【Python训练营】Python每日一练----第2天:门牌制作

是Dream呀

2月月更

爬虫requests模块 入门到入狱 :基础知识+实战分析

是Dream呀

2月月更

YoloV5实战:手把手教物体检测

华为云开发者联盟

物体检测 模型 yolo YOLOv5 Labelme

[Python公开课]零基础玩转Python进阶篇----第一节:Python中的文件操作

是Dream呀

2月月更

开源算力引擎 BridgX 发布 0.6.0 版本:新增三种权限管理功能

星汉未来

开源 运维 云原生 云计算, 开源生态

跨平台应用开发进阶(二) :uni-app 实战

No Silver Bullet

uni-app 跨平台 规范 2月月更

Python格式字符串的三种方法你都掌握了吗,%s%d%f+format()+f-string,深度测评YYDS实至名归

是Dream呀

2月月更

使用s3fs在centos上挂载bucket

阿呆

S3

Flutter 屏幕采集实战分享

ZEGO即构

flutter 音视频开发 屏幕采集编码

金融行业研发管理平台选型

帅气IT小哥

[Python公开课]零基础玩转Python基础篇----第六节:Python中的函数

是Dream呀

2月月更

博云信创云管平台入选工信部推荐解决方案名单,头部券商信创案例获应用示范单项!

BoCloud博云

云服务 信创 云平台

【思特奇杯·云上蓝桥-算法集训营】第2周----真题汇总+思路分享

是Dream呀

2月月更

产品更新 | 数据物流引擎 DTExpress 新增算力市场及跨云传输

星汉未来

数据迁移 云算力 云 原生云 CTO

Ti-Click:通过浏览器快速搭建 TiDB 在线实验室 | Ti-可立刻团队访谈

PingCAP

[Python公开课]零基础玩转Python进阶篇----第二节:Python的异常分析及解决

是Dream呀

2月月更

NodeJS搭建本地服务指南

编程江湖

node,js

智能运维引擎 CudgX 更新 V0.2.0 版本,新增根据 MetricQPS 进行自动扩缩容!

星汉未来

云原生 算力 智能运维 扩缩容

一文看懂业界在离线混部技术

星汉未来

开源 云原生 服务治理 云计算, 混部

你知道,java项目中是如何获取文件地址的吗?

华为云开发者联盟

Java 路径 ClassLoader 文件地址 绝对地址

一行代码:开启 eBPF,代替 iptables,加速 Istio

Daocloud 道客

istio 开源项目 网络加速 服务网格 ebpf

9期视频告诉你如何更正确更高效的使用Git

阿里云云效

git 阿里云 云原生 代码 研发

Serverless 与工具链建设

刘宇

Serverless 工具链

刚出炉的《Java开发手册黄山版》,我帮你们圈出了改动点!

捉虫大师

Hive 数据倾斜问题定位排查及解决

编程江湖

详解CNN实现中文文本分类过程

华为云开发者联盟

机器学习 CNN 深度神经网络 文本分类 Word2Vec

CTF题目中遇到的PHP考点总结(一)

H

php CTF WEB安全

[Python公开课]零基础玩转Python基础篇----第七节:Python中的高级函数

是Dream呀

2月月更

基础架构部如何推动新一代云原生架构变革

星汉未来

开源 云原生 开源社区 云计算,

如何找寻职业方向感

万事ONES

ONES

当 TiDB 遇上 Flink:TiDB 高效入湖“新玩法” | TiLaker 团队访谈

PingCAP

Elastic Mesos服务实现EC2中集群自动化部署_DevOps & 平台工程_Charles Menguy_InfoQ精选文章