Aster Data Systems 最近发布了应用于数据库的MapReduce ,这是其 nCluster 数据库的一个组件。
InfoQ 已经详细 介绍了MapReduce,它最初是由 Google 工程师引入的一种编程模型,旨在提供一种可伸缩的方法来处理大数据集。
nCluster 是由 Aster 推出的一个高并行处理(MPP)数据库。其网站这样描述了 nCluster 的并行架构:
Aster nCluster 构建于独特、多层的nCluster 架构之上,它包含三种独立的节点类:Queens、Workers 及 Loaders。针对分析处理,该三层设计将角色完全隔离并封装起来。每层都可以独立扩展以响应负载变化——当需要时扩充容量(Workers)、加载带宽(Loaders)或者执行并发(Queens)。
Aster nCluster 提供的 MapReduce 实现利用相同的架构,为数据库中执行 MapReduce 计算留有了余地:
就像针对标准 SQL 查询的高并发执行环境一样,Aster nCluster 为数据库中的并行数据分析及传输实现了灵活的 MapReduce 函数。Aster nCluster 应用于数据库的 MapReduce 函数很容易编写,而且可以与 SQL 语句无缝集成。它们依靠 SQL 查询来操纵底层数据并提供输入。该函数可以操纵输入数据并提供输出,而这些输出又可以被 SQL 查询使用或者写到数据库表中。
SQL/MR 是由 Aster 引入的一个特殊的 SQL MapReduce 函数库,可在 nCluster 平台中用来调用 map-reduce 算法。Aster 支持多态函数和动态类型,同时 MapReduce 计算可用 Java、Python、C++ 等语言开发。
请访问 Aster Data Systems 站点以了解有关应用于数据库的 Map Reduce 及 nCluster 数据库的更多信息。
查看英文原文: Aster In-Database MapReduce
评论