免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

Amazon EC2 推出基于 Hadoop 的 MapReduce

  • 2009-04-07
  • 本文字数:718 字

    阅读完需:约 2 分钟

对于如何将流行的 Apache Hadoop MapReduce 框架运行于 Amazon EC2 之上,老早之前就已经有教程了。今天 Amazon 通过 Amazon Elastic MapReduce 对其提供了官方支持,不断改善自身。从其产品页面可看到:

Amazon Elastic MapReduce 自动地在 Amazon EC2 实例上驱动一个 MapReduce 框架的 Hadoop 实现,将任务流中的数据分解为更小的块以用于并行处理 (“map”函数),并最终将处理后的数据重新组合在一起成为最后结果 (“reduce”函数)。Amazon S3 作为被分析的数据源,并作为最终结果输出的目的地。

Amazon Elastic MapReduce 的价格是在现有 EC2 的收费之上的 15% 比率。其 FAQ 上有一个关于价格和使用的完整列表。AWS的官方博客也提供了报道:

…Elastic MapReduce 的处理是围绕着任务流这一概念为中心来开展的。每个任务流包含一步或者多步。第一步从 Amazon S3 输入一定的数据,再将其分配给指定数量的运行 Hadoop 的 EC2 实例 (如果需要的话,驱动这一实例),完成所有的工作,再将结果写回 S3。每个步骤必须参考应用特定的“mapper”和 / 或“reducer”代码 (Java JARS 或是通过流模型使用的脚本代码)。我们同时还包含进了集合包,对一系列诸如和,最小,最大,历史图以及计数等等的公共操作提供了内置的支持。在你开始写代码之前就已经有很多事情搞定了! 我们提供了三种不同的访问 Elaastc MapReduce 的途径。你可以通过 Elastic MapReduce API 获取完全的控制,你也可以使用 Elastic MapRedue 命令行工具,或者在 AWS 管理控制台的 Elastic MapReduce 标签页通过点击进行操作!让我们分别来看每一个…

ZDNet 的 Dana Gardner 推测 这暗示了Amazone 将在商业智能市场推出新的产品。

查看英文原文: Amazon Rolls Out Hadoop Based MapReduce to EC2

2009-04-07 02:103507
用户头像

发布了 133 篇内容, 共 36.8 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

事件分发机制Android,熬夜整理Android面试笔试题,精心整理

欢喜学安卓

android 程序员 面试 移动开发

三步法助你快速定位网站性能问题

华为云开发者联盟

html 网站 网站优化 Performance面板 瀑布图

【转载】图形化系统开发组件X-Series(一)——XrossUnit介绍

赫杰辉

知识分享:SQL注入的流程和步骤

Thrash

sql

Redis的适用场景简单剖析

大数据技术指南

redis 4月日更

0门槛成为“技术牛人”!星环科技线上分享课“星课堂”开播,快来报名,一探究竟

星环科技

人工智能 数据库 云计算 大数据 直播技术

华云大咖说 | 华云数据与数科网维携手共建国产云生态

华云数据

Flink + Hudi 在 Linkflow 构建实时数据湖的生产实践

Apache Flink

flink

什么是Selenium?使用Selenium进行自动化测试

码语者

DevOps selenium

2020年12月的面试经历:美团4面+字节4面(均已拿offer),面试真题分享

Java架构师迁哥

软件测试——教育机构课程顾问常见黑话大全

程序员阿沐

程序员 软件测试 教育 机构 教育培训

https如何使用python+flask来实现

华为云开发者联盟

Python flask https ssl HTTP协议

前端⼤规模构建演进实践

白玉兰开源

架构 大前端

分布式锁之Redis实现

Sakura

4月日更

手把手教你从数据预处理开始体验图数据库

NebulaGraph

数据库 数据预处理

轻松带你学习java-agent

华为云开发者联盟

Java Trace Java虚拟机 java-agent 挂载

实践案例丨Pt-osc工具连接rds for mysql 数据库失败

华为云开发者联盟

MySQL 数据库 pt-osc工具 rds for mysql

云管平台如何纳管多云资源?

嘉为蓝鲸

云计算 运维自动化 cmp 混合云 多云管理平台

5个超好用的Instagram图片下载工具推荐

科技猫

分享 下载 教程 图片 Instagram

一入爬虫深似海,从此早睡是路人

Thrash

事件分发源码,Android事件分发机制收藏这一篇就够了,威力加强版

欢喜学安卓

android 程序员 面试 移动开发

智汇华云 | ArSDN打通软件定义数据中心的“任督二脉”

华云数据

Golang 对象池

escray

学习 极客时间 Go 语言 4月日更

前端规范之路

白玉兰开源

大前端 开发规范

前端DDD总结与思考

白玉兰开源

大前端 DDD

重磅来袭:Spring之RequestBody的使用姿势小结

学Java关注我

Java 编程 架构 技术 程序人生

阿里巴巴的“双11”高并发秒杀终极版教程!(Java语言设计)

Java架构追梦

Java 阿里巴巴 架构 面试 秒杀架构设计

4行指令解决pip下载Python第三方库太慢问题(pip更换国内下载源)

不脱发的程序猿

Python pip 4月日更 Python库安装

【转载】提高系统开发效率的“银弹”——X-series可视化大规模应用开发工具集

赫杰辉

从源码分析 MySQL 死锁问题入门

比伯

Java 编程 程序员 架构 计算机

GitHub开源:17M超轻量级中文OCR模型、支持NCNN推理

不脱发的程序猿

人工智能 GitHub 开源 OCR 4月日更

Amazon EC2推出基于Hadoop的MapReduce_Java_Scott Delap_InfoQ精选文章