写点什么

Elastic Mesos 服务实现 EC2 中集群自动化部署

  • 2013-12-23
  • 本文字数:1045 字

    阅读完需:约 3 分钟

EC2 用户现在能够自动化部署 Apache Mesos 了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司 Mesosphere 所提供的一个称为 Elastic Mesos 的新 Web 服务实现规模化。

该服务在本质上类似于 Amazon 的 Elastic MapReduce ,因为它会在 Amazon EC2 实例上安装 Mesos 依赖的所有内容,包括 Zookeeper 和 HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与 Elastic Mesos 相关的费用,所以你只需要为自己使用的 EC2 付费。Elastic Mesos 现在建议的集群大小限制为 6 个或者 us-east-1 区域中的 18 个 m1.large 实例,这受制于按需实例的价格

你能够通过 Elastic Mesos 用户界面中所提供的三步操作完成一个 Mesos 集群的部署,在此过程中你只需要指定想要的集群大小、EC2 证书和一个接收通知的 email 地址即可。完成时间很大程度上取决于 EC2 实例的配置时间,不同的人可能不一样,Mesosphere 估计集群准备好之前大约需要 20 分钟的时间。

Mesos 最初是由 UC Berkeley作为一个研究项目开发的,之后Twitter 迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter 的高级副总裁Christopher Fry 将Mesos 看作是“自己版本的弹性计算”,现在它已经是 Apache 的一个顶级项目了。围绕着 Mesos 开发一款产品对于 Mesosphere 而言非常有意义,它的创建者 Flo Leibert 和 Tobi Knaup 之前在 Twitter 和 Airbnb 工作,这两家公司是 Mesos 的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在 Mesos 的技术支持名单中找到像 Vimeo、OpenTable 或者 UC Berkeley 这样的大牌。

Elastic Mesos 类似于 Apache Whirr ,后者是一个能够运行并管理云端服务的开源类库,但是 Whirr 并不支持 Mesos 。即使是这样,Elastic Mesos 提供了一个自包含的服务,而 Whirr 则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是 Mesos 向主流采用迈出的第一大步,人们经常搞混的一个项目是 Hadoop YARN 。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止 YARN 的采用率更高,因为它是 Hadoop 2 事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是 Twitter 上的社区响应大部分都是正面的。在 2013 年 12 月份的 Spark Summit 上也已经有了一个教程,该教程详细描述了如何在 Elastic Mesos 上运行 Spark,该教程在 Spark 社区中引起了非常好的反响。

查看英文原文 Elastic Mesos service automates Mesos cluster deployment in EC2

2013-12-23 08:521598
用户头像

发布了 321 篇内容, 共 124.2 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

架构训练营-模块一作业

zhongwy

架构实战营

实用机器学习笔记六:数据清理

打工人!

机器学习 算法 学习笔记 12月日更 实用机器学习

如何对Android 11进行网络状态监听

Changing Lin

12月日更

安全第二话

张老蔫

28天写作

青藤:一招制敌!微隔离,让勒索软件不再横行

青藤云安全

如何处理工作与生活之间的冲突?

石云升

28天写作 职场经验 12月日更

7个连环问揭开java多线程背后的弯弯绕

华为云开发者联盟

Java 多线程 工作内存 主内存

1-1聚合架构第二讲:企业架构的认知历程

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

低代码平台是伪需求?不好意思,你的同行已经靠它完成转型升级了!

J2PaaS低代码平台

低代码 低代码开发 低代码开发平台 低代码平台

拆分电商系统为微服务

Beyond Ryan

普普通通的Route

Time-sun

flutter

聚合架构第一讲:开篇啦

钰湚—付晓岩

企业架构 软件工程 数字化转型 软件架构 业务架构

选课排课软件原生开发选课排课小程序模式源码开发

风行无疆

焱融 YRCloudFile 连获两项重量级认证,展现强劲存储实力!

焱融科技

云计算 分布式 云原生 高性能 文件存储

漏洞检测方法如何选?详解源代码与二进制SCA检测原理

华为云开发者联盟

安全 漏洞 软件成分分析 源代码SCA检测 二进制SCA检测

华为云数据库GaussDB(for Influx)揭秘第二期:解密GaussDB(for Influx)的数据压缩

华为云开发者联盟

数据库 时序数据库 GaussDB(for Influx) 时序数据 数据压缩

基于RPA的自动化优先,正在成为广大组织的主流管理思维

王吉伟频道

RPA 机器人流程自动化 业务流程管理 自动化优先 业务流程自动化

基于云的技术架构设计实践 - 第3篇

hackstoic

签约计划第二季 业务安全

浪潮云跻身中国政务大数据管理平台市场领导者位置

云计算 云计算运维

如何建成有效的前端效能度量体系

benyasin

大前端 研发效能 研发度量 研发提效

低代码实现探索(四)前端组件核心模型

零道云-混合式低代码平台

震惊!大势已来!!区块链的真正价值是什么?

CECBC

6.《重学JAVA》--数据类型

杨鹏Geek

Java 25 周年 28天写作 12月日更

架构实战营:模块一作业

Geek_93ffb0

「架构实战营」

你看到什么是因为要你看到什么

mtfelix

28天写作

区块链等技术将为中欧跨境电商带来革新以及助力城市产业转型升级

CECBC

【架构实战营】模块六

衣谷

架构实战营

低代码实现探索(三)后台模型执行设计

零道云-混合式低代码平台

谈谈创业感想

wood

创业 28天写作

低代码实现探索(五)前端组件图形化脚本

零道云-混合式低代码平台

TypeScript 之模板字面量类型

冴羽

JavaScript typescript 翻译 大前端

Elastic Mesos服务实现EC2中集群自动化部署_DevOps & 平台工程_Charles Menguy_InfoQ精选文章