写点什么

Elastic Mesos 服务实现 EC2 中集群自动化部署

  • 2013-12-23
  • 本文字数:1045 字

    阅读完需:约 3 分钟

EC2 用户现在能够自动化部署 Apache Mesos 了,后者是一个能够在多个数据处理框架之间共享集群资源的开源工具,可以通过大数据创业公司 Mesosphere 所提供的一个称为 Elastic Mesos 的新 Web 服务实现规模化。

该服务在本质上类似于 Amazon 的 Elastic MapReduce ,因为它会在 Amazon EC2 实例上安装 Mesos 依赖的所有内容,包括 Zookeeper 和 HDFS,同时会交付一个准备就绪的集群。最重要的是,没有任何与 Elastic Mesos 相关的费用,所以你只需要为自己使用的 EC2 付费。Elastic Mesos 现在建议的集群大小限制为 6 个或者 us-east-1 区域中的 18 个 m1.large 实例,这受制于按需实例的价格

你能够通过 Elastic Mesos 用户界面中所提供的三步操作完成一个 Mesos 集群的部署,在此过程中你只需要指定想要的集群大小、EC2 证书和一个接收通知的 email 地址即可。完成时间很大程度上取决于 EC2 实例的配置时间,不同的人可能不一样,Mesosphere 估计集群准备好之前大约需要 20 分钟的时间。

Mesos 最初是由 UC Berkeley作为一个研究项目开发的,之后Twitter 迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter 的高级副总裁Christopher Fry 将Mesos 看作是“自己版本的弹性计算”,现在它已经是 Apache 的一个顶级项目了。围绕着 Mesos 开发一款产品对于 Mesosphere 而言非常有意义,它的创建者 Flo Leibert 和 Tobi Knaup 之前在 Twitter 和 Airbnb 工作,这两家公司是 Mesos 的两个最大采用者。 Mesos 的支持者每个月都在增长,现在你能够在 Mesos 的技术支持名单中找到像 Vimeo、OpenTable 或者 UC Berkeley 这样的大牌。

Elastic Mesos 类似于 Apache Whirr ,后者是一个能够运行并管理云端服务的开源类库,但是 Whirr 并不支持 Mesos 。即使是这样,Elastic Mesos 提供了一个自包含的服务,而 Whirr 则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是 Mesos 向主流采用迈出的第一大步,人们经常搞混的一个项目是 Hadoop YARN 。这两个项目确实都有同样的目标,也就是实现无缝地、有效地共享集群,但是到目前为止 YARN 的采用率更高,因为它是 Hadoop 2 事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓,但是 Twitter 上的社区响应大部分都是正面的。在 2013 年 12 月份的 Spark Summit 上也已经有了一个教程,该教程详细描述了如何在 Elastic Mesos 上运行 Spark,该教程在 Spark 社区中引起了非常好的反响。

查看英文原文 Elastic Mesos service automates Mesos cluster deployment in EC2

2013-12-23 08:521442
用户头像

发布了 321 篇内容, 共 119.5 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

NA公链(Nirvana)解决的六大问题在众多公链中脱颖而出NAC公链

区块链第一资讯

Spark性能调优-Shuffle调优及故障排除篇

五分钟学大数据

大数据 spark 3月日更

2021出海社交必看:产品、技术、运营指南

拍乐云Pano

音视频 RTC 社交APP出海 出海社交 社交泛娱乐

音视频开发——通信直播协议和视频推流丨RTMP-RTSP

Linux服务器开发

音视频 WebRTC ffmpeg 直播推流 SRS流媒体服务器

开抢| 华为开发者大会2021(Cloud)早鸟票来了!

华为云开发者联盟

华为 开发者

K8s 原生 Serverless 实践:ASK 与 Knative

Serverless Devs

阿里云 Serverless Kubernetes 云原生

【遇见Doris】4.13线下开发者沙龙分享--微博团队

ApacheDoris

【遇见Doris】

[C++总结记录]构造函数与析构函数注意点

图解AI

10种下载YouTube视频的方法-包含网站软件插件app等

Space空间

软件 网站 下载youtube视频

MapReduce中shuffle阶段的数据压缩机制

大数据技术指南

大数据 hadoop 3月日更

【遇见Doris】Apache Doris 在京东广告平台的应用

ApacheDoris

【遇见Doris】

【遇见Doris】Apache Doris在一点资讯自媒体平台的应用

ApacheDoris

【遇见Doris】

【遇见Doris】Apache Doris Parquet文件读取的设计与实现

ApacheDoris

【遇见Doris】

别再说你不懂规则引起啦

比伯

Java 编程 程序员 架构 计算机

2021最新分享支付宝/美团/拼多多面经总结

比伯

Java 编程 架构 面试 程序人生

golang设置时区的多种方式

happlyfox

学习 3月日更 Go 语言

[C++总结记录]struct与class注意点

图解AI

c++

Python OpenCV 彩色图像与灰度图像的转换

梦想橡皮擦

3月日更

遇见Doris:Apache Doris (incubating)0.10.0开发者沙龙

ApacheDoris

Apache Doris(incubating) 0.12.0版本正式发布

ApacheDoris

【遇见Doris】4.13线下开发者沙龙分享--搜狐团队

ApacheDoris

【遇见Doris】

[C++总结记录]函数相关细节注意点

图解AI

c++

简单快速搭建,全新语聊方案

anyRTC开发者

ios android 音视频 WebRTC RTC

RUOYI 框架教程 0 | 我和RuoYi框架

Java_若依框架教程

Java 技术 Ruoyi 框架 若依

打通混合云网络孤岛,EBN助力企业灵活构建云骨干网

UCloud技术

多云架构 混合云

RUOYI框架教程1 |小白都能学会的3分钟搭建框架教程

Java_若依框架教程

Java 技术 Ruoyi 框架 若依

20天内看完这套GitHub标星18k+的Android资料,含泪整理面经

欢喜学安卓

android 程序员 面试 移动开发

2021年Android面试心得,大厂面经合集

欢喜学安卓

android 程序员 面试 移动开发

EGG Network构建千万级应用的聚合型永动金融公链 EFTalk

币圈那点事

【遇见Doris】4.13线下开发者沙龙分享--Doris主创团队

ApacheDoris

Doris简史 - 为分析而生的11年

ApacheDoris

Elastic Mesos服务实现EC2中集群自动化部署_DevOps & 平台工程_Charles Menguy_InfoQ精选文章