写点什么

Pivotal 开源其大数据处理的核心组件

  • 2015-02-28
  • 本文字数:1470 字

    阅读完需:约 5 分钟

近日, Pivotal 宣布将其大数据套件的三个核心组件开源,即基于内存的分布式NoSQL 数据库 GemFire 、基于 Hadoop 架构的大规模并行 SQL 分析处理引擎 HAWQ 、大规模并行处理分析数据库 Greenplum 。同时,商业版本仍将继续提供更高级功能和商业支持服务。Pivotal 开源这三个核心组件最主要原因是受其成功的 Cloud Foundry 开源案例所启发。Cloud Foundry 是 VMware 于 2011 年 4 月 12 日推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台以及应用服务。同时,Pivotal 还宣布其将加入开放数据平台(Open Data Platform),这是一个目前已有 14 个公司组成的组织,包括 Hortonworks 通用电器GE 、IBM、威瑞森(Verizon)等,该组织主要提供Hadoop 的企业版。

Pivotal 的大数据套件主要包括 Pivotal 的企业级 Hadoop 发行版 Pivotal HD 、Greenplum、HAWQ、GemFire、开源分布式框架 Spring XD 、K/V 数据库 Redis 、消息队列 RabbitMQ Cloud Foundry 上的大数据套件。其中 Greenplum 和 GemFire 主要用来处理结构化数据,其他产品都是用来处理非结构化数据。通过 HAWQ 能够将 Greenplum 与 Hadoop 分布式架构进行紧密地融合。整个套件将从大规模并行处理、内存计算以及 Hadoop 批处理三方面满足企业对大数据的需求。Pivotal 的大数据套件的客户包括国内的中信银行中国铁路总公司以及国外的美国金融服务公司 Zions Bancorporation 印度尼西亚电信运营商巴克莱电信(Bakrie Telecom)印度国有铁路公司(Indian Railways
美国西南航空公司(Southwest Airlines)
Pivotal 大数据套件架构如下图所示:

从 Pivotal 的官网得知,GemFire 的重要特征包括支持基于内存的数据网格、支持 ACID 事务、高性能、低延迟、高可用性、高扩展性、能够使用多种语言实现数据管理、强大的数据应用功能、易于管理的分布式数据网格管理等。GemFire 可用于企业级的数据缓存、弹性的内存计算、大规模的实时交易应用、弹性流数据处理等。作为世界规模最大的实时交易系统之一的中国铁路客户服务中心网站(12306.cn),于 2012 年 6 月选择 GemFire 分布式内存计算平台进行了改造,以解决尖峰高流量并发问题。

HAWQ 支持事务处理,它能够将复杂的查询分割成简单的任何大小的处理单元,并分发到并行处理系统中。HAWQ 具有高性能的架构、完全支持 SQL 标准、具有深度分析和机器学习能力、支持本地 Hadoop 文件格式等重要特征。

开源中国上发布的一篇题为《 Greenplum 高性能数据引擎探秘》的文章对 Greenplum 进行了详细介绍。文章指出 Greenplum 数据库是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面,Greenplum 的性能极其优异。Greenplum 的重要特征包括大规模并行处理的架构、超强的并行计算能力、高效的数据载入、具有灵活地存储和分析能力、高效的分析平台、能够无缝集成已有的分析功能栈、最佳的数据管理框架等。

Pivotal 是由 GE、 EMC 和 VMware 联合组成的专注开源 PaaS 和大数据应用 Cloud Foundry、Greenplum 等业务的合资公司。Pivotal 原来一直资助着 Groovy/Grails 项目和主导这些项目的开发,不过今年 1 月份,Pivotal 官方宣布将不再资助Groovy/Grails 项目,并重新把精力集中在Cloud Foundry 上。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-28 08:194713
用户头像

发布了 46 篇内容, 共 52.4 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

低多边形建筑3D模型纹理贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理 多边形建模

强大的触控板手势增强软件:Multitouch免激活最新

mac大玩家j

触控板增强 触控板管理工具

Linux系统之安装showdoc文档工具

百度搜索:蓝易云

云计算 Linux 运维 云服务器 ShowDoc

在centos中配置nginx+php的环境教程。

百度搜索:蓝易云

php nginx Linux centos 云服务器

Istio与Kubernetes:资源管理与协同解析

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟

深入解析LLaMA如何改进Transformer的底层结构

华为云开发者联盟

人工智能 华为云 大模型 华为云开发者联盟 LLM

盛大发布!用友携手35家数智化领先企业推出《用户之友》专著

用友BIP

企业数智化

使用函数计算,数禾如何实现高效的数据处理?

Serverless Devs

云计算 Serverless AIGC

从ByteHouse网关,看如何进一步提升OLAP引擎性能

字节跳动数据平台

数据库 大数据 云原生 数仓 企业号12月PK榜

音视频开发常见问题(四):视频花屏和绿屏

ZEGO即构

实时音视频 直播技术 视频编解码 音视频开发 直播推流

大模型训练中batch的作用

百度开发者中心

人工智能 大模型 深度学历

利用Prompt,高效调教大模型

百度开发者中心

人工智能 大模型 Prompt

利用Prompt提升大模型微调性能

百度开发者中心

深度学习 大模型

政采云基于 Dubbo 的混合云数据跨网实践

阿里巴巴云原生

阿里云 云原生 dubbo

低多边形游戏风格3D模型纹理贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理

音视频FAQ(三):音画不同步

ZEGO即构

CDN 直播 实时音视频 视频编解码 实时互动

阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜

阿里巴巴云原生

阿里云 容器 云原生

利用大模型训练提升AI性能

百度开发者中心

人工智能 大模型 深度学习、

基于Unity3D 低多边形地形模型纹理贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理

如何使用区块链数据构建安全工具

Footprint Analytics

区块链 区块链技术 数据安全

Exploring Advanced WiFi 6 Solutions: QCN6122 vs. QCN6102 with IPQ5018 Platform

wallyslilly

ipq5018 QCN6102 QCN6122

「智造」第12期:浅谈时序数据库的应用及发展

用友BIP

时序数据库

低多边形3D建模石头材质纹理贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理

低多边形3D建模动画风格纹理贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理

mac上好用的软件提取工具:Pacifist中文激活版

胖墩儿不胖y

Mac软件 软件提取工具 软件提前

5秒成为AI产业顾问、营销BI轻松搭建......一封来自星河社区5周年产业特辑的信

飞桨PaddlePaddle

人工智能 产业生态 星河社区

华为云开源 | 线下meetup · 中国人民大学站顺利收官

华为云开源

区块链 微服务 时序数据库 AI大模型 前端组件库

Pivotal开源其大数据处理的核心组件_大数据_李小兵_InfoQ精选文章