QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

MapReduce 模式、算法和用例

  • 2012-02-15
  • 本文字数:838 字

    阅读完需:约 3 分钟

随着 Hadoop 和大数据应用的爆发式增长,很多人正在寻找将他们已有的实现转为 MapReduce 方式的方法。不幸的是,除了《应用 MapReduce 进行数据密集的文本处理》《Mahout in Action》几本有名书籍之外,很少有关设计 MapReduce 实现的出版物。在新文章“MapReduce 模式、算法和用例”中,Ilya Katsov 提供了一个系统化的综述,阐述了能够应用 MapReduce 框架解决的问题。

文章开始描述了一个非常简单的、作为通用的并行计算框架的 MapReduce 应用,这个框架适用于很多要求大量节点进行的计算和数据密集型计算,包括物理和工程仿真,数值分析,性能测试等等。接下来是一组算法,通常用于日志分析、ETL 和数据查询,包括计数及求和,数据整理(基于特定函数),过滤,解析,验证和排序。

第二大部分是关于 MapReduce 模式,Katsov 讨论了包括多关系形 MapReduce 模式,通常用于数据仓库应用程序。这些模式在 Hive 和 Pig 实现中广泛使用,并包括基于推断 / 函数的数据选择,数据预测、数据联合、差分、交集和分组等聚集计算。另一个讨论是关于实现数据关联和包含等算法,例如 repartition join 和重复联合。

更进一步,这篇文章讨论了更为复杂的 MapReduce 处理算法,包括图处理、搜索算法(广度优先搜索)、page rank 数据集合算法,这些算法应用于图分析、web 索引和通用搜索应用。文章也涵盖了常见的、需要互相关计算的文本分析和市场分析的用例。这部分包含了”pairs“和”stripes”设计模式和它们的相对优劣。

最后,Katsov 给出了一个在机器学习领域实现更复杂 MapReduce 的很好的参考书目。

文中描述的大多数算法都有伪代码描述及它们的适用性,优势、劣势和一些真实的用例。

如今很多人仍面临应用 Hadoop 和 MapReduce 解决业务问题的困扰。有些人仍然认为 MapReduce 是“搜索业务问题领域的技术手段”。这篇文章是填补 MapReduce 算法、用例和设计模式空缺的重要一步。它展示了 MapReduce 强大的力量,而不仅仅是用那个声名狼藉的“词语计数”例子,并显示了 MapReduce 可以解决众多实际问题的方式。

2012-02-15 08:526724
用户头像

发布了 32 篇内容, 共 91481 次阅读, 收获喜欢 1 次。

关注

评论

发布
暂无评论
发现更多内容

UniApp的性能优化

北京木奇移动技术有限公司

软件外包公司 APP外包公司 uniapp开发

Turbo Boost Switcher Pro for mac(cpu频率调节软件)

Rose

什么是DNS反射放大攻击?如何预防?

国科云

foobar2000 for mac(多功能音频播放器)v2.24.2免激活版

Rose

FonesGo iPhone Unlocker for Mac 解决iOS设备上的各种解锁问题

Rose

gpt4all for mac(Mac本地部署deepseek)附详细教程

Rose

抖音爆款制造机:火语言的内容优化秘籍

火语言RPA

探索高效项目管理协作的解决方案

axe

项目管理 办公软件 项目协作

从冒泡到选择:经典排序算法背后的深度解析与优化

测吧(北京)科技有限公司

测试

Sketch for mac(专业矢量绘图设计软件)v86-101版本合集

Rose

《流程思维》:解码流程管理本质,赋能企业高效进化

AMT企源

流程管理 流程思维

VMware Fusion Pro 11 Mac(vm虚拟机)v11.5.7中文激活版

Rose

小红书运营难题一键破!火语言 RPA 开启涨粉变现新捷径

火语言RPA

谷云科技iPaaS×DeepSeek:构建企业智能集成的核心底座

RestCloud

AI 智能体 数据集成平台 ipaas DeepSeek

Keka for Mac 下载体积小,简单易用,速度快

Rose

幂等性:如何通过设计避免重复操作的影响?

不在线第一只蜗牛

Java

Downie 3 for Mac(好用的视频下载工具)v3.9.11中文激活版

Rose

当火语言遇上抖音:开启短视频领域的变革新篇章

火语言RPA

别再盲目发小红书笔记,火语言 RPA 教你高效运营秘籍

火语言RPA

TouchDesigner Pro(可视化原型渲染设计)

Rose

算法优化必看:时间复杂度与空间复杂度的深度解析

测吧(北京)科技有限公司

测试

CAD迷你看图 for Mac(好用的cad看图软件)v4.4.5免激活版

Rose

Ummy Video Downloader for Mac(YouTube视频下载工具)v1.72免激活版

Rose

UniApp开发的设备适配

北京木奇移动技术有限公司

APP开发 软件外包公司 uniapp开发

DMG Canvas for mac(DMG镜像制作工具)v4.1.2激活版

Rose

火语言 —— 打破分享限制,拥抱开源世界

火语言RPA

不懂代码别发愁,火语言 RPA 助你轻松搞定 B 站稿件发布

火语言RPA

MapReduce模式、算法和用例_架构_Boris Lublinsky_InfoQ精选文章