报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*

  • 2018-08-28
  • 本文字数:4042 字

    阅读完需:约 13 分钟

众所周知,数据正呈指数级增长(从 2010 年至 2020 年预计会增加 50 倍),而数据必须得到合理使用才能彰显其价值。

现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform* 可以满足企业的上述需求。

InsightEdge Platform 是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将 InsightEdge Platform、英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘(SSD)与集成式 BigDL* 搭配使用,企业可轻松地在实时分析和 AI 应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。

为了了解基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge

Platform 的运行情况(相较于基于上一代处理器和固态盘的 InsightEdge Platform),

GigaSpaces 进行了内部测试。这项测试比较了基于以下两种配置的 InsightEdge Platform

的查询和加载时间:英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。结果显示,与上一代架构相比,采用新一代英特尔® 架构时,该平台具有更快的查询和加载速度。新一代的英特尔® 架构还为 GigaSpaces 用户带来了其他益处。

GigaSpaces InsightEdge Platform

GigaSpaces InsightEdge Platform 所采用的核心技术是 GigaSpaces XAP* 内存数据网格。该平台将快速数据分析功能、AI、ML、DL 和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的 Apache Spark* 发行版,并将 Spark 分析框架与所有的 XAP 内存数据网格功能集成在一起。

Spark 发行版由高度可用的集群层来管理,该层具备自愈、99.999% 可用性、无单点故障、本地和区域性冗余等优点。2 通过共置 Spark 作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform

基于英特尔® 架构的 GigaSpaces InsightEdge Platform 在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔® 至强® 处理器 E5 v4 家族相比,英特尔® 至强®可扩展处理器具有更加出众的性能。英特尔® 至强® 可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入 / 输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少 RAM 的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地 TCO。

用于存储数据的英特尔® 傲腾™ 固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔® 傲腾™ 固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdge Platform 可立即访问所存储的数据),帮助降低 TCO。英特尔® 傲腾™ 固态盘是对 GigaSpaces XAP MemoryXtend* (一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在 RAM 中,冷数据存储在固态盘中,这样便可通过减少所占用的 RAM 来降低成本。

GigaSpaces XAP* 内存数据网格

GigaSpaces XAP 是 GigaSpaces InsightEdge Platform* 所采用的核心内存数据网格技术。

XAP 支持超低延迟和高吞吐量应用。它可以按需扩展应用。另外,其经过简化的架构可以避免集群和组件的无序扩张,从而最大限度减少活动部件并降低 TCO。

测试展现了新一代平台的性能

为了展示基于新一代英特尔® 至强® 可扩展处理器的 GigaSpaces InsightEdge Platform 在本地部署方面的性能表现,GigaSpaces 进行了内部测试。GigaSpaces 在 InsightEdge

Platform 上对 4 GB 大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列将平台的数据加载时间缩短了 33%,并将平台的查询时间缩短了 23%(参见图 2 和图 3)。

图 2. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 36.5 秒;采用英特尔®至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 24.3 秒。

图 3. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 9.4 秒;采用英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 7.2 秒

为何采用英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器能够缩短 GigaSpaces InsightEdge Platform 的数据加载和查询时间。因为相较于英特尔® 至强® 处理器 E5 v4 家族,英特尔® 至强® 可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔® 至强® 可扩展处理器有六个内存通道,而测试中所用的英特尔® 至强® 处理器 E5 v4 家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。

它可以支持最多 8 路,每路最高 1.5 TB 内存容量,8 路配置提供总计 12 TB 容量,从而增加了内存支持。另外,英特尔® 至强® 铂金处理器具备更多线程;配备 DDR4-2666 内存;其高速外围设备互连 *(PCIe*)3.0 带宽的通道数也多了 8 个,达到 48 个,而在英特尔® 至强® 处理器 E5 v4 家族中仅有 40 个。

除了比上一代处理器具有更多的内核和线程外,英特尔® 至强® 可扩展处理器还采用了全新的微架构,这使得所有 CPU 具有一致的形状,因而任何 CPU 都能插入相同的英特

尔 Socket P 型插槽。这意味着系统能够从双路扩展到 4 路或 8 路,而无需第三方提供的外部芯片组。

全新的微架构是英特尔® 至强® 可扩展处理器的优势之一。英特尔® 至强® 可扩展处理器采用一系列全新增强技术,增加了内存容量和新架构,从而提升了性能、可靠性、可用性、可维护性和可管理性。这些技术包括:

•     经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备 GPU,也不会影响性能。

•     集成式英特尔® QuickAssist 技术(英特尔® QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。

•     经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。

•     存储创新:包括支持英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘,提升了数据密集型工作负载的效率和性能。

•     英特尔® 卷管理设备(英特尔® VMD):支持通过 PCIe 总线以热插拔方式更换 NVM Express*(NVMe*)固态盘,且无需关闭系统;标准化的 LED 管理功能则有助于快速识别固态盘的状态。

英特尔® 傲腾™ 固态盘可进一步提升性能

英特尔® 傲腾™ 固态盘兼具内存和存储器的特性,可以充分发挥英特尔® 至强® 可扩展处理器的潜能。英特尔® 傲腾™ 固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔® 傲腾™ 固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的 TCO,因为这些固态盘可以:

•     实现高达 500,000 的 IOPS,相当于在队列深度为 11 的情况下,约 2 GB/s 的速度。4

•     保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在 30 微秒(μs)以下,同时可承受高达 2 GB/s 的随机写入压力。4

•     采用英特尔® 内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像 DRAM 一样显示在操作系统和应用中,从而大幅扩展系统内存。

BigDL* 和英特尔® 数学核心函数库(英特尔® MKL)

GigaSpaces InsightEdge Platform 集成了 BigDL 和英特尔® 数学核心函数库(英特尔® MKL),并在各个 Spark 任务中充分利用了多线程编程技术。BigDL 是一个适用于 Spark 的分布式深度学习库,它允许用户以 Scala* 或 Python* 程序的形式创建深度学习应用,并充分利用可扩展 Spark 集群的强大功能。英特尔® MKL 包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔® 处理器的性能。

借助基于英特尔® 架构的 GigaSpaces InsightEdge Platform,减少基础设施的无序扩张并降低 TCO

洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge Platform)来减少基础设施并降低 TCO,从而实现上述目标。

2018-08-28 02:051209

评论

发布
暂无评论
发现更多内容

golang写的存储引擎,基于b+树,mmap

Alber

免费的公共WiFi不要乱连,遭中间人攻击了吧?

wljslmz

网络安全 签约计划第三季 8月月更 中间人攻击

互联网用户账号信息管理规定今起施行:必须严打账号买卖灰产

石头IT视角

电商秒杀系统

极客土豆

架构实战营模块三作业

zhihai.tu

8月总结高频vue面试题

helloworld1024fd

Vue

云计算国内外发展现状

阿炜小菜鸡

云计算 8月月更

目标检测的国内外研究现状

阿炜小菜鸡

目标检测 8月月更

SRE运维解密-什么是SRE:DevOps模型的具体实践!

董哥的黑板报

DevOps 运维 云原生 SRE Google

《The Google File System》新说

Joseph295

IDEA 自动导入的配置(Auto import)

HoneyMoose

Java 是否应该使用通配符导入( wildcard imports)

HoneyMoose

AOSP CameraLatencyHistogram的原理与使用

桑榆

Android; 8月月更

gulp

Jason199

js gulp 8月月更

系统管理-Linux系统文件查找

Albert Edison

Linux centos linux 文件权限控制 find 8月月更

一文带你了解 Java 中的构造器

踏雪痕

Java 构造函数 8月月更

带你造轮子,自定义一个随意拖拽可吸边的悬浮View组件

yechaoa

android 开源 签约计划第三季 8月月更

FinClip最易用的智能电视小程序

Geek_99967b

小程序

【大厂面试真题解析】虾皮 Shopee 后端一面十四问

面试官问

面试 后端 面试题 Shopee 虾皮

Build QEMU RISC-V Linux

贾献华

8月月更

第1章:初识数据库与MySQL----MySQL安装

乌龟哥哥

8月月更

LeetCode第三题(Longest Substring Without Repeating Characters)三部曲之三:两次优化

程序员欣宸

Java LeetCode 8月月更

目标检测技术研究现状及发展趋势

阿炜小菜鸡

目标检测 8月月更

FinClip,助长智能电视更多想象空间

Geek_99967b

小程序

FinClip,车载小程序新玩法

Geek_99967b

小程序

关于技术学习的6个观点

郭明

技术人

Vue是什么?Vue和jQuery

flow

8月月更

6 个你必须明白 Vue3 的 ref 和 reactive 问题(入门篇)

Geek_z9ygea

JavaScript 前端开发 vuejs 8月月更

【CSS】设置文本样式,包括文本颜色、对齐、缩进、行高等

翼同学

CSS HTML5, CSS3 8月月更

《福格行为模型》:如何养成好习惯?

郭明

读书笔记

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*_架构_Intel_InfoQ精选文章