写点什么

Pivotal 开源其大数据处理的核心组件

  • 2015-02-28
  • 本文字数:1470 字

    阅读完需:约 5 分钟

近日, Pivotal 宣布将其大数据套件的三个核心组件开源,即基于内存的分布式NoSQL 数据库 GemFire 、基于 Hadoop 架构的大规模并行 SQL 分析处理引擎 HAWQ 、大规模并行处理分析数据库 Greenplum 。同时,商业版本仍将继续提供更高级功能和商业支持服务。Pivotal 开源这三个核心组件最主要原因是受其成功的 Cloud Foundry 开源案例所启发。Cloud Foundry 是 VMware 于 2011 年 4 月 12 日推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台以及应用服务。同时,Pivotal 还宣布其将加入开放数据平台(Open Data Platform),这是一个目前已有 14 个公司组成的组织,包括 Hortonworks 通用电器GE 、IBM、威瑞森(Verizon)等,该组织主要提供Hadoop 的企业版。

Pivotal 的大数据套件主要包括 Pivotal 的企业级 Hadoop 发行版 Pivotal HD 、Greenplum、HAWQ、GemFire、开源分布式框架 Spring XD 、K/V 数据库 Redis 、消息队列 RabbitMQ Cloud Foundry 上的大数据套件。其中 Greenplum 和 GemFire 主要用来处理结构化数据,其他产品都是用来处理非结构化数据。通过 HAWQ 能够将 Greenplum 与 Hadoop 分布式架构进行紧密地融合。整个套件将从大规模并行处理、内存计算以及 Hadoop 批处理三方面满足企业对大数据的需求。Pivotal 的大数据套件的客户包括国内的中信银行中国铁路总公司以及国外的美国金融服务公司 Zions Bancorporation 印度尼西亚电信运营商巴克莱电信(Bakrie Telecom)印度国有铁路公司(Indian Railways
美国西南航空公司(Southwest Airlines)
Pivotal 大数据套件架构如下图所示:

从 Pivotal 的官网得知,GemFire 的重要特征包括支持基于内存的数据网格、支持 ACID 事务、高性能、低延迟、高可用性、高扩展性、能够使用多种语言实现数据管理、强大的数据应用功能、易于管理的分布式数据网格管理等。GemFire 可用于企业级的数据缓存、弹性的内存计算、大规模的实时交易应用、弹性流数据处理等。作为世界规模最大的实时交易系统之一的中国铁路客户服务中心网站(12306.cn),于 2012 年 6 月选择 GemFire 分布式内存计算平台进行了改造,以解决尖峰高流量并发问题。

HAWQ 支持事务处理,它能够将复杂的查询分割成简单的任何大小的处理单元,并分发到并行处理系统中。HAWQ 具有高性能的架构、完全支持 SQL 标准、具有深度分析和机器学习能力、支持本地 Hadoop 文件格式等重要特征。

开源中国上发布的一篇题为《 Greenplum 高性能数据引擎探秘》的文章对 Greenplum 进行了详细介绍。文章指出 Greenplum 数据库是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面,Greenplum 的性能极其优异。Greenplum 的重要特征包括大规模并行处理的架构、超强的并行计算能力、高效的数据载入、具有灵活地存储和分析能力、高效的分析平台、能够无缝集成已有的分析功能栈、最佳的数据管理框架等。

Pivotal 是由 GE、 EMC 和 VMware 联合组成的专注开源 PaaS 和大数据应用 Cloud Foundry、Greenplum 等业务的合资公司。Pivotal 原来一直资助着 Groovy/Grails 项目和主导这些项目的开发,不过今年 1 月份,Pivotal 官方宣布将不再资助Groovy/Grails 项目,并重新把精力集中在Cloud Foundry 上。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-28 08:194703
用户头像

发布了 46 篇内容, 共 52.3 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

工作三原则

ok绷

区块链,不是元宇宙的全部

CECBC

世界女性科技群落(一):一面喑哑、一面高亢的非洲鼓

脑极体

模块五作业

bob

「架构实战营」

模块四作业

覃飞

CentOS环境下Redis的安装和配置

Empty

redis

财经大课:通货膨胀的逻辑

石云升

学习笔记 财经思维 11月日更

.NET6新东西--struct优化

喵叔

11月日更

架构训练营 - 模块 4 作业

焦龙

架构实战营

模块四作业

doublechun

「架构实战营」

和12岁小同志搞创客开发:手撕代码,做一款亮度可调节灯

不脱发的程序猿

少儿编程 DIY 智能硬件 创客开发 Arduino

区块链是什么

Rayjun

区块链

如何用JavaScript实现add(1)(2)(3)

空城机

JavaScript 11月日更

linux远程复制文件命令小总结

入门小站

Linux

区块链新闻编辑部成立,看区块链如何助力新闻传播?

CECBC

Vue进阶(贰零壹):JS合并两个数组方法详解

No Silver Bullet

Vue 数组 11月日更

SAP OData 编程指南

汪子熙

API SAP OData 11月日更

模块五作业

沐风

Apache Pulsar 与 Kafka 性能比较:延迟性(测试方法)

Apache Pulsar

大数据 kafka 分布式 云原生 Apache Pulsar

模块四课后作业-设计千万级学生管理系统的考试试卷存储方案

断水风春

架构实战营

【解析】通证经济的分类及用途

CECBC

30分钟学习go语言

坚果

Go 语言 11月日更

20 k8s之持久性存储卷

穿过生命散发芬芳

k8s 11月日更

使用 Java connector 消费 ABAP 系统的函数

汪子熙

Java SAP abap 11月日更

在线等差数列求和计算器

入门小站

工具

Maven 依赖调解源码解析(一):开篇

xiaoxi666

maven 源码解析

DDD是软件设计思维方式的转变

Bruce Talk

领域驱动设计 DDD

聊聊你眼中的spring的事务是怎么样的?

卢卡多多

spring事务管理 11月日更

JavaScript 数组方法 slice() 的 5 个示例

devpoint

slice JavaScrip 11月日更

千万级学生管理系统的考试试卷存储方案设计

波波

「架构实战营」

[Pulsar] 使用Partitioned Topic提高吞吐

Zike Yang

Apache Pulsar 11月日更

Pivotal开源其大数据处理的核心组件_大数据_李小兵_InfoQ精选文章