写点什么

Hadoop 即服务提供商 Qubole 现在运行在 Google Compute Engine 上

  • 2013-12-29
  • 本文字数:1088 字

    阅读完需:约 4 分钟

Qubole 是一家托管的 Hadoop 即服务提供商,用户现在能够在 Google Compute Engine(GCE)上使用该服务了。在这之前 Qubole 只能在 Amazon 的 AWS 上使用,在 Google 宣布对公众开放 GCE 之后不久 Qubole 就宣布了这一消息。

社区对该消息的反映大部分都是积极的,人们好像认为大数据主题会成为 GCE 潜在的杀手级应用。来自于 DataStax 的 Alex Popescu 这样写道:

如果你仔细看看这些内容,那么你将会注意到这样一个主题:覆盖来自于任意角度的数据;使用 DataStax 的 Cassandra/DSE 处理 OLTP,使用 DataTorrent 进行流处理,Qubole 用于 Hadoop,MapR 用于 Hadoop 这样的解决方案。我能够看见这种情况持续了一段时间,同时正在让 Google Compute Engine 成为 Amazon Web 服务的一个强力竞争者。

Hadoop 即服务(HaaS 也被称为云端 Hadoop)也带来了一些不同的选项:

  • 动摇你自己的部署,也就是在一个像 GCE 或者 EC2 这样的 IaaS 平台上安装 Apache Hadoop 或者一个分布式服务(例如 Cloudera、Hortonworks、MapR)。这样能够对运行的服务进行细粒度的控制,但是也带来了部署和管理上的复杂性。
  • 预打包的服务,例如 Amazon 的 EMR 或者 Savvis 的大数据服务,该服务有助于降低部署复杂性并且为已安装的服务提供中层控制。
  • 托管的 HaaS,例如 Qubole 和 Mortar ,有希望降低部署和管理的复杂性

与本地部署相比 HaaS 的关键区别在于:弹性、现货定价、计算和存储之间的分离(例如像Amazon S3 或者 Google 云存储这样的最终一致性对象存储)和增强的安全标准。像 Qubole 这样的托管 HaaS 服务往往用于开发场景,用于评估和测试、短暂运行的分析工作以及实现混合云设置。但是它们也有各自的一些限制:

  • 将数据放入云端同时再次将其从云端取出都有它们各自的价格标记。
  • 由于法律规定可能会涉及到隐私和数据保护问题,这可能会阻止或者限制用例。
  • 24/7 操作的 TCO 必须在具体分析的基础上进行计算。
  • Hadoop、Hive 等服务和最终一致性对象存储一般会存在不匹配的情况。

Ashish Thusoo 和 Joydeep Sen Sarma 在 Facebook 工作期间丰富了自己运行 Hadoop 和 Hive 的经验,在那里他们管理着一个数据基础设施团队。然后,在 2012 年 6 月,他们创建了 Qubole ,并且在 2013 年 4 月获得了 700 万美元的 A 轮融资。Joydeep 深入介绍了他们在实现自己的 HaaS 服务时所面对的挑战,同时在他的 Hive London Meetup 谈话“云友好的Hadoop 和Hive ”中还对内部原理做了讲解。另外,Christian Prokopp (Rangespan 的数据科学家) 最近还写了一个详细的纲要以及Qubole 与EMR 之间的对比。

查看英文原文: Hadoop-as-a-Service Provider Qubole Now Runs on Google Compute Engine

2013-12-29 22:151450
用户头像

发布了 321 篇内容, 共 118.4 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

直播预告|MLOps + LLM = LLMOps LLMOps meetup 了解大模型背景下的MLOps

星策开源社区

AI 大模型 MLOps LLM LLMOps

时序数据库 TDengine 六周年庆典活动圆满落幕,现场火爆

爱倒腾的程序员

涛思数据 时序数据库 ​TDengine

【耗时一月】AWS Aurora 数据库 Failover 处理方案

艾小仙

MySQL 数据库 aurora failover

霍格沃兹测试开发线下班开班啦~

测吧(北京)科技有限公司

测试

软件测试 | 分析确定性能测试指标

测吧(北京)科技有限公司

测试

嘉为蓝鲸数字化运营中心V5版本视觉全面升级发布,助力企业实现数字化运维!

嘉为蓝鲸

数字化转型 数字化 品牌数字化

软件测试丨学习笔记Allure2报告中添加用例描述、用例优先级

测试人

程序员 软件测试 测试开发 Allure

升级全面预算管理,引领企业数字化之旅

智达方通

全面预算管理 财务规划与预测 全面预算管理系统

V8中的快慢属性(图文分解更易理解😃)

甜点cc

6 月 优质更文活动

还在为开发难度发愁?这个低代码平台能让你轻松搞定!

加入高科技仿生人

低代码 数字化 数智赋能

王炸,英特尔PowerVia芯片背面供电即将量产,遥遥领先三星和台积电

E科讯

STEPN运动挖矿nft虚拟跑鞋app系统开发(原生)

开发微hkkf5566

软件测试 | 常见的自动化测试架构

测吧(北京)科技有限公司

测试

阿里云 Serverless 容器服务全面升级:新增组件全托管、AI 镜像秒级拉取能力

阿里巴巴云原生

阿里云 Serverless 容器 云原生 Serverless Kubernetes

D8调试工具——jsvu的使用细则

甜点cc

6 月 优质更文活动

赋能行业,因云而动 | 山西软件行业CXO思享会在太原成功举办,助力山西软件行业高质量发展

科技热闻

官宣!XTransfer与全球社交网络服务巨头Meta达成战略合作

XTransfer技术

JavaScript代码是怎么在浏览器里面运行的?

甜点cc

6 月 优质更文活动

V8中的快慢数组(附源码、图文更易理解😃)

甜点cc

6 月 优质更文活动

软件测试 | 走出自动化测试认知的误区

测吧(北京)科技有限公司

测试

软件测试 | 巧用监听器—识别性能缺陷

测吧(北京)科技有限公司

测试

软件测试 | 借助Ant实现批量测试和报表生成

测吧(北京)科技有限公司

测试

什么是智慧公共厕所?光明源智慧厕所

光明源智慧厕所

软件测试 |BeanShell服务器

测吧(北京)科技有限公司

测试

软件测试 | 如何分析性能测试结果

测吧(北京)科技有限公司

测试

软件测试 | 聚合报告(Aggregate Report)

测吧(北京)科技有限公司

测试

回顾|开源之夏校园行兰州大学站

MatrixOrigin

分布式数据库 HTAP MatrixOrigin MatrixOne 超融合数据库

软件测试 | 自动化测试的基本流程

测吧(北京)科技有限公司

测试

.net低代码开发平台 快速实现组织架构数字化

力软低代码开发平台

Hadoop即服务提供商Qubole现在运行在Google Compute Engine上_DevOps & 平台工程_Michael Hausenblas_InfoQ精选文章