报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

Pivotal 开源其大数据处理的核心组件

  • 2015-02-28
  • 本文字数:1470 字

    阅读完需:约 5 分钟

近日, Pivotal 宣布将其大数据套件的三个核心组件开源,即基于内存的分布式NoSQL 数据库 GemFire 、基于 Hadoop 架构的大规模并行 SQL 分析处理引擎 HAWQ 、大规模并行处理分析数据库 Greenplum 。同时,商业版本仍将继续提供更高级功能和商业支持服务。Pivotal 开源这三个核心组件最主要原因是受其成功的 Cloud Foundry 开源案例所启发。Cloud Foundry 是 VMware 于 2011 年 4 月 12 日推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台以及应用服务。同时,Pivotal 还宣布其将加入开放数据平台(Open Data Platform),这是一个目前已有 14 个公司组成的组织,包括 Hortonworks 通用电器GE 、IBM、威瑞森(Verizon)等,该组织主要提供Hadoop 的企业版。

Pivotal 的大数据套件主要包括 Pivotal 的企业级 Hadoop 发行版 Pivotal HD 、Greenplum、HAWQ、GemFire、开源分布式框架 Spring XD 、K/V 数据库 Redis 、消息队列 RabbitMQ Cloud Foundry 上的大数据套件。其中 Greenplum 和 GemFire 主要用来处理结构化数据,其他产品都是用来处理非结构化数据。通过 HAWQ 能够将 Greenplum 与 Hadoop 分布式架构进行紧密地融合。整个套件将从大规模并行处理、内存计算以及 Hadoop 批处理三方面满足企业对大数据的需求。Pivotal 的大数据套件的客户包括国内的中信银行中国铁路总公司以及国外的美国金融服务公司 Zions Bancorporation 印度尼西亚电信运营商巴克莱电信(Bakrie Telecom)印度国有铁路公司(Indian Railways
美国西南航空公司(Southwest Airlines)
Pivotal 大数据套件架构如下图所示:

从 Pivotal 的官网得知,GemFire 的重要特征包括支持基于内存的数据网格、支持 ACID 事务、高性能、低延迟、高可用性、高扩展性、能够使用多种语言实现数据管理、强大的数据应用功能、易于管理的分布式数据网格管理等。GemFire 可用于企业级的数据缓存、弹性的内存计算、大规模的实时交易应用、弹性流数据处理等。作为世界规模最大的实时交易系统之一的中国铁路客户服务中心网站(12306.cn),于 2012 年 6 月选择 GemFire 分布式内存计算平台进行了改造,以解决尖峰高流量并发问题。

HAWQ 支持事务处理,它能够将复杂的查询分割成简单的任何大小的处理单元,并分发到并行处理系统中。HAWQ 具有高性能的架构、完全支持 SQL 标准、具有深度分析和机器学习能力、支持本地 Hadoop 文件格式等重要特征。

开源中国上发布的一篇题为《 Greenplum 高性能数据引擎探秘》的文章对 Greenplum 进行了详细介绍。文章指出 Greenplum 数据库是为新一代数据仓库和大规模分析处理而建立的软件解决方案,其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上,尤其海量数据的处理方面,Greenplum 的性能极其优异。Greenplum 的重要特征包括大规模并行处理的架构、超强的并行计算能力、高效的数据载入、具有灵活地存储和分析能力、高效的分析平台、能够无缝集成已有的分析功能栈、最佳的数据管理框架等。

Pivotal 是由 GE、 EMC 和 VMware 联合组成的专注开源 PaaS 和大数据应用 Cloud Foundry、Greenplum 等业务的合资公司。Pivotal 原来一直资助着 Groovy/Grails 项目和主导这些项目的开发,不过今年 1 月份,Pivotal 官方宣布将不再资助Groovy/Grails 项目,并重新把精力集中在Cloud Foundry 上。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-28 08:194868
用户头像

发布了 46 篇内容, 共 53.4 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

详解CloudBees CI,助力Jenkins用户顺利迁移并构建高效CI/CD平台

龙智—DevSecOps解决方案

ci 持续集成 CD

运维人少,如何批量管理上百个微服务、上千条流水线?

阿里巴巴云原生

阿里云 云原生 云效

Lambda 表达式及线程安全最佳实践

伤感汤姆布利柏

使用Selenium执行JavaScript脚本:探索Web自动化的新领域

霍格沃兹测试开发学社

视频教程:如何集成Perforce Helix Core与S3 存储,助力无限扩展储存空间

龙智—DevSecOps解决方案

版本控制 S3 版本控制软件 储存库

龙年新目标!龙蜥安全联盟第三次月会圆满结束

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

59 人参会,探讨新年发展!龙蜥社区技术委员会、运营委员会会议圆满结束

OpenAnolis小助手

操作系统 国产操作系统 龙蜥社区

金融科技领袖汇聚:图技术+大模型驱动金融创新

悦数图数据库

图数据库

59 人参会,探讨新年发展!龙蜥社区技术委员会、运营委员会会议圆满结束

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

走进龙芯中科交流会圆满结束!深入探讨未来合作规划 | 理事长走进系列

OpenAnolis小助手

操作系统 国产操作系统 龙蜥社区

Optimism Hackathon: 加速 AI 与 Blockchain Data 发展

Footprint Analytics

大数据 gamefi #人工智能

使用Selenium模拟鼠标滚动操作的技巧

霍格沃兹测试开发学社

走进浪潮信息,深入探讨社区发展规划交流会圆满结束 | 理事长走进系列

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

Selenium Headless模式:无头浏览器的使用与优势

霍格沃兹测试开发学社

龙蜥社区荣获 2023 年度龙芯“十佳基础软件合作伙伴”奖

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

龙蜥社区第四届理事大会圆满召开!中兴、英特尔、浪潮成为副理事长单位!龙蜥高级顾问团成立!

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

产学研用全覆盖!信通院、中兴通讯、复旦大学等 12 家厂商共同成立龙蜥社区系统运维联盟(SOMA)

OpenAnolis小助手

操作系统 国产操作系统 龙蜥社区

运维人少,如何批量管理上百个微服务、上千条流水线?

阿里云云效

阿里云 云原生 云效

使用Docker快速搭建Web服务器Nginx

霍格沃兹测试开发学社

ai制图软件有哪些?这5款自动生成绘画工具值得推荐!

彭宏豪95

人工智能 在线白板 办公软件 AIGC AI绘画

龙蜥操作系统荣登开放原子开源基金会“2023 生态开源项目”奖项榜单

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

走进 Intel,深度探讨合作发展规划交流会圆满结束 | 理事长走进系列

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

龙蜥社区第 22 次运营委员会圆满结束!

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

龙蜥系统运维联盟第二次会议圆满召开,深度探讨联盟发展方向

OpenAnolis小助手

开源 操作系统 国产操作系统 龙蜥社区

解决过期苹果App应用的方法

GOPS全球运维大会2024深圳站亮点抢先看!

博睿数据

谈谈我对 AIGC 趋势下软件工程重塑的理解

阿里巴巴云原生

阿里云 云原生 AIGC

龙智亮相2024国际集成电路展览会暨研讨会(IIC Shanghai),分享芯片研发及管理解决方案与技术实践

龙智—DevSecOps解决方案

芯片研发

iPaaS平台能帮助企业解决什么问题?

RestCloud

数据集成 应用集成 ipaas

Pivotal开源其大数据处理的核心组件_大数据_李小兵_InfoQ精选文章