写点什么

Apache Ignite(三):核心特性之大数据处理、客户端和部署

  • 2015-12-28
  • 本文字数:2353 字

    阅读完需:约 8 分钟

本文是 Ignite 系列的第三篇介绍性文章,内容整体比较简略,和第二篇文章一起,大体上介绍了 Ignite 平台的所有关键技术点,方便大家有一个整体的认识,供技术选型时参考。

一、Spark 共享 RDD

Apache Ignite 提供了一个 Spark RDD 抽象的实现,他允许跨越多个 Spark 作业时方便地在内存内共享状态,不管是在同一个应用内部还是在不同的 Spark 应用之间。

IgniteRDD 作为 Ignite 分布式缓存的视图,既可以在 Spark 作业执行进程中部署,也可以在 Spark workder 中部署,也可以在他自己的集群中部署。

根据事先配置好的部署模型,状态共享既可以只存在于一个 Spark 应用的生命周期的内部(嵌入式模式),或者也可以存在于 Spark 应用的外部(独立模式),这种模式下状态可以在多个 Spark 应用之间共享。

特性一览

  1. 共享 Spark RDD: IgniteRDD 是原生 Spark RDD 的一个实现,DataFrame API 具有所有标准 RDD 的功能,并且 RDD 的状态可以在 Spark 作业、应用以及 worker 之间共享。
  2. 更快的 SQL: Spark 不支持 SQL 索引,但是 Ignite 可以,由于先进的内存索引功能,IgniteRDD 在执行 SQL 查询时比 Spark 原生 RDD 或者 DataFrame 有百倍的性能提升。

二、内存文件系统

Ignite 一个独有的技术就是分布式内存文件系统(IGFS),IGFS 提供了和 Hadoop HDFS 类似的功能,但是仅仅在内存内部。事实上,除了他自己的 API,IGFS 实现了 Hadoop 的文件系统 API,并且可以透明地加入 Hadoop 或者 Spark 应用。

IGFS 将每个文件中的数据拆分为独立的数据块然后将他们存储在分布式内存缓存中。然而和 Hadoop HDFS 不同,IGFS 不需要一个 name 节点,并且用一个哈希函数自动地确定文件数据位置。

IGFS 可以独立部署,也可以部署在 HDFS 之上,不管是哪种情况,他对于 HDFS 中存储的文件都是一个透明的缓存层。

特性一览

  1. 堆内和堆外: IGFS 既可以在堆内,也可以在堆外存储文件,对于更大的存储空间关键是利用堆外来避免长时间的 JVM 垃圾回收导致的暂停。
  2. IGFS 作为 Hadoop 文件系统: IGFS 实现了 Hadoop 的 FileSystem API,并且可以部署为原生的 Hadoop 文件系统,就像 HDFS 一样,这样就可以在 Hadoop 或者 Spark 环境中以即插即用的方式原生部署 IGFS。
  3. Hadoop 文件系统缓存: IGFS 也可以在另一个 Hadoop 文件系统上部署为一个缓存层。这种情况下,IGFS 中的一个文件如果发生变化,更新会被自动地写入 HDFS。此外,如果读取了一个文件并且当时他不在 IGFS 中,Ignite 会自动地将其从 HDFS 载入 IGFS。
  4. Hadoop 发行版: IGFS 集成了一个原生的 Apache Hadoop,也支持 Cloudera CDH 以及 Hortonworks HDP。

三、内存 MapReduce

Apache Ignite 带来了一个 Hadoop MapReduce API 的内存实现,他比原生的 Hadoop MapReduce 实现有了显著的性能提升。Ignite MapReduce 比 Hadoop 性能更好,是因为基于推的资源分配以及数据的进程内协同计算。

另外,因为 IGFS 不需要一个 name 节点,当使用 IGFS 时,Ignite MapReduce 作业会在一个链路内直达 IGFS 数据节点。

特性一览

  1. 原生 Hadoop MapReduce: Ignite MapReduce 是 Hadoop MapReduce API 的一个实现,他可以原生地加入已有的 Hadoop 环境,并且性能有很大的提升。
  2. Hadoop 加速: Ignite 提供了一个 Hadoop 的加速发行版,包括 IGFS 以及 Ignite MapReduce,这个环境可以很容易地加入已有的 Hadoop 环境。

四、客户端协议

对于客户端连接 Ignite 集群,Ignite 提供了若干种协议,包括 Ignite 原生客户端,REST/HTTP,SSL/TLS,Memcached,Node.js(正在开发中)等等。

详细说明如下:

  1. Ignite 原生客户端: 对于客户端远程连接 Ignite,原生客户端提供了完整的功能,他允许使用完整的 Ignite API,包括近缓存,事务,计算,流式处理,服务等等。
  2. Memcached: Ignite 兼容于 Memcached,他允许用户使用任何 Memcached 兼容客户端在 Ignite 缓存中保存以及获取分布式数据,包括 Java、PHP、Python、Ruby 以及其他的客户端。
  3. REST/HTTP: Ignite 提供了一个 HTTP REST 客户端,可以以 REST 的方式通过 HTTP 或者 HTTPS 协议进行通信。REST API 可以进行执行很多的操作,比如从缓存中读取,实行任务,获取各种度量等等。
  4. SSL/TLS: Ignite 允许在所有的 Ignite 客户端和服务端节点之间使用 SSL 进行 Socket 通信。
  5. Node.js(开发中): Ignite 未来会提供 Node.js 客户端,他能进行所有的缓存操作以及在 Ignite 中存储的 JSON 数据中执行 SQL 查询。

五、部署环境

Apache Ignite 可以独立运行,在集群中运行,在 Docker 容器中运行,还可以运行在 Apache Mesos 以及 Hadoop Yarn 环境。他可以在物理机上运行,也可以在虚拟机上运行。

特性一览

  1. 独立集群: Ignite 节点之间会自动感知,这有助于集群的可扩展性,而不需要重启集群,简单地启动新加入的节点然后他们就是自动地加入集群。
  2. Docker 容器: Docker 可以将 Ignite 及其所有的依赖打包进一个标准的映像。Docker 下载 Ignite 版本映像之后,就可以将用户的应用部署进 Ignite,配置节点,他会自动启动整个配置后的 Ignite 节点。
  3. 公共云: 对于公共云环境,Ignite 原生地集成了 Amazon AWS 和 GCE,对于其他的云环境,Ignite 集成了 Apache JCloud,他支持大多数已有的云服务商。
  4. Apache Mesos: Ignite 提供了 Apache Mesos 的原生支持,可以很容易地将 Ignite 部署进 Mesos 数据中心,比如 Hadoop 和 Spark 环境。
  5. Hadoop Yarn: Ignite 提供了 Hadoop Yarn 的原生支持,可以很容易地将 Ignite 部署进 Hadoop 和 Spark 环境。

感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

2015-12-28 17:4817331

评论

发布
暂无评论
发现更多内容

稳!上千微服务如何快速接入 Zadig(Helm Chart 篇)

Zadig

DevOps 微服务架构 持续交付 自动化运维 Zadig

融云通信解决方案 破解企业沟通痛点

融云 RongCloud

这玩意叫跳表?

慕枫技术笔记

数据结构 算法 6月月更

【Go实现】实践GoF的23种设计模式:装饰者模式

元闰子

Go 设计模式 装饰器 装饰者模式

悬赏平台并没有WEB端开发,在原生开发和混合开发中哪种合适?

开源直播系统源码

软件开发 app源码 原生开发 混合开发 悬赏平台源码

稳!上千微服务如何快速接入 Zadig(K8s YAML 篇)

Zadig

DevOps 微服务架构 k8s 持续交付 自动化运维

在线SQL转HTMLTable工具

入门小站

工具

笔记

IT蜗壳-Tango

6月月更

设计电商秒杀系统

凯博无线

Java中java.util.Arrays参考指南

okokabcd

Java

架构实战营|模块5

KDA

#架构实战营

要想Linux命令行玩的溜,还得apropos!此文运维必看!

wljslmz

Linux 运维 6月月更

自媒体行业内卷严重:企业自媒体应该何去何从

石头IT视角

深入浅出总结Flink运行时架构

百思不得小赵

大数据 flink 6月月更

Zadig + SonarQube,为开发过程安全保驾

Zadig

DevOps 代码扫描 SonarQube 质量内建

穿越过后,她说多元宇宙真的存在

脑极体

Prometheus 2.36.0 新特性

耳东@Erdong

release Prometheus 6月月更

油猴脚本学习

Sher10ck

脚本 油猴

穿越过后,她说多元宇宙真的存在

脑极体

Zadig + 洞态 IAST:让安全溶于持续交付

Zadig

DevSecOps 代码安全检测 安全测试 Zadig

在线文本过滤小于指定长度工具

入门小站

工具

数据生态第三弹 | RocketMQ OpenMLDB Connector,实时数据到特征工程的高速传输

第四范式开发者社区

人工智能 云原生 实时数据 特征平台 特征工程

8年打磨,《游戏设计梦工厂》发布史诗级更新!

博文视点Broadview

00 后云原生工程师:用开源 Zadig 为思创科技(广州公交)研发开源节流

Zadig

DevOps 研发效能 工程师 自动化运维

linux检测系统是否被入侵(下)

入门小站

Linux

Go Web 编程入门:HTTP 自定义路由

宇宙之一粟

Go 语言 6月月更

带链接跳转的微信红包封面制作教程和使用指南

boshi

小程序 微信红包封面 微信红包

HashMap分析-基础属性与结构

zarmnosaj

6月月更

Android包体积优化(常规、进阶、极致)

yechaoa

android 性能优化 包大小 6月月更 包体积优化

Ubuntu环境下载OpenJDK11源码

程序员欣宸

Java Openjdk 6月月更

最新版CorelDRAW Technical Suite2022

茶色酒

cdr2022

Apache Ignite(三):核心特性之大数据处理、客户端和部署_开源_李玉珏_InfoQ精选文章