写点什么

谷歌推出 Dataproc,让 Spark、Hadoop 更便宜更快更简单

  • 2015-10-07
  • 本文字数:845 字

    阅读完需:约 3 分钟

近日,谷歌发布了 Google Cloud Dataproc 服务 Beta 测试版。Cloud Dataproc 是一个托管的 Spark 与 Hadoop 服务,可以帮助用户快速创建集群、简化集群管理及降低使用成本。借助该服务,用户无需考虑部署、扩展、监控等管理工作,可以将全部精力都集中到数据处理上。

与传统的本地产品或其它存在竞争关系的云服务相比,Cloud Dataproc 有如下优势:

  • 成本低:Cloud Dataproc 的定价为每颗虚拟 CPU 每小时 1 美分。它还可以包含可抢占实例,使使用成本进一步降低。另外,Cloud Dataproc 按分钟计费,最小计费周期为 10 分钟。
  • 速度快:在本地或 IaaS 提供商那里创建 Spark 与 Hadoop 集群需要 5 到 30 分钟不等。相比之下,Cloud Dataproc 启动、扩展和关闭都非常快,每个操作平均大约只需要 90 秒。
  • 一体化:Cloud Dataproc 内置集成了其它谷歌云平台服务,如 BigQuery Cloud Storage Cloud Bigtable Cloud Logging Cloud Monitoring 。这相当于提供了一个完整的数据平台。
  • 托管:Cloud Dataproc 使用户可以在没有系统管理员或专门软件的协助下就可以使用 Spark 与 Hadoop 集群。用户可以通过谷歌开发者控制台、 Google Cloud SDK 或 Cloud Dataproc REST API 管理集群和 Spark 或 Hadoop 任务。
  • 简单熟悉:用户不用为了使用 Cloud Dataproc 学习新的工具或 API。现有的项目无需重新开发就可以迁移到 Cloud Dataproc 上。Spark、Hadoop、 Pig 及 Hive 都会经常更新。目前,Spark 的版本为 1.5,而 Hadoop 的版本为 2.7.1。

总之,正如 Cloud Dataproc 项目经理 James Malone 所言:

Cloud Dataproc 让你可以随时访问简单、快速但功能强大的、托管的 Spark 与 Hadoop 集群。

感兴趣的读者可以查看 Cloud Dataproc官方网站,按照入门指南试用,或者在 Stack Overflow 上提问及反馈。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者)。

2015-10-07 19:006112
用户头像

发布了 1008 篇内容, 共 356.9 次阅读, 收获喜欢 332 次。

关注

评论

发布
暂无评论
发现更多内容

LeetCode题解:232. 用栈实现队列,使用两个栈 入队 - O(n), 出队 - O(1),JavaScript,详细注释

Lee Chen

大前端

不草率,你只管下载资料,剩下的交给「哇哦」

小Q

Java 学习 架构 面试 分布式

Golang领域模型-实体

奔奔奔跑

架构 微服务 领域驱动设计 DDD Go 语言

[翻译]Scalable Go Scheduler Design Doc[Go可扩展调度设计文档]

卓丁

golang scheduler Go scheduler Go 语言

宅家三个月玩转算法,再战字节跳动,字节跳动面试官朝我比了个“ok”

编程 字节跳动 面试 算法

架构师课作业 - 第十三周

Tulane

为什么每个微服务要有自己独立的数据库?

码猿外

数据库 架构 微服务

oeasy教您玩转 linux 010212 管道 pipe

o

.NET委托,事件和Lambda表达式

AI代笔

面试必问亿级流量优化策略之JVM调优,文档视频面试,还不收藏

小Q

Java 程序员 架构 JVM jvm调优

藏在Java数组的背后,你可能忽略的知识点

Java架构师迁哥

Java四种引用类型:强引用、软引用、弱引用、虚引用

简爱W

我理解的面向对象(ObjectiveSql 实践)

Braisdom

Java ORM框架 ORM

一文解开java中字符串编码的小秘密

程序那些事

java安全编码 java编码指南 UTF编码

一点 Go Web 编程实践经验

Garfield

Go web Go 语言

我们该怎么保护手机屏幕前的父母?

徐说科技

手机 短视频

week11--作业

Geek_165f3d

LeetCode 169. Majority Element

liu_liu

算法 LeetCo

oeasy教您玩转linux 010211 牛说 cowsay

o

澳门金沙玩赢了钱提现不了异常注单未更新有什么办法处理?

丛林里的余光

异常检测 澳门金沙 提现不了

基于Goc的Golang代码VSCode实时染色方案

大卡尔

测试覆盖率 精准测试 Go 语言

区块链技术发展的十大趋势

CECBC

区块链 金融 安全问题

业务架构学习内容有哪些?

周金根

BIZBOK 业务架构

Dubbo-go应用维度注册模型

apache/dubbo-go

dubbo dubbo-go dubbogo

央行数研所推出贸易金融区块链平台

CECBC

区块链 金融

从新浪数字化转型,窥见互联网的“懂行”新十年

脑极体

LeetCode题解:232. 用栈实现队列,使用两个栈 入队 - O(1),出队 - 摊还复杂度 O(1),JavaScript,详细注释

Lee Chen

大前端 LeetCode

【高并发】Redis如何助力高并发秒杀系统,看完这篇我彻底懂了!!

冰河

多线程 高并发 秒杀 电商超卖 签约计划第二季

阿里培训官给新入职程序员的25条建议

Java架构师迁哥

区块链赋能市场监管 浙江上线“黑科技”清除取证固证难题

CECBC

区块链 市场监管 取证难题

TOGAF认证课由2天变化为5天的思考

周金根

企业架构 TOGAF

谷歌推出Dataproc,让Spark、Hadoop更便宜更快更简单_语言 & 开发_谢丽_InfoQ精选文章