写点什么

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*

  • 2018-08-28
  • 本文字数:4042 字

    阅读完需:约 13 分钟

众所周知,数据正呈指数级增长(从 2010 年至 2020 年预计会增加 50 倍),而数据必须得到合理使用才能彰显其价值。

现在,企业需要深究的是如何最充分地利用所有数据,即实时获取数据,根据这些数据制定决策并根据这些决策采取相应的行动。但是企业如何做到这些可能面临着困境,特别是随着人工智能(AI)、物联网(IoT)、机器学习(ML)和深度学习(DL)技术的不断发展,需要企业立刻采取相应的行动并确保未来具备敏捷性和可扩展性。然而,不断发展的技术并不是唯一的障碍。企业还需要找到一种方法,以便在分析数据的同时为应用提供所需的服务—这种方式既不会影响性能,也不需要维护多个基础设施。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform* 可以满足企业的上述需求。

InsightEdge Platform 是一个开源的内存型洞察平台。它不仅兼具快速数据分析和事务处理能力,能让企业实现即时商业洞察并采取相应的行动;还具有超低的延迟,能让企业在短短几毫秒内访问时间敏感型数据并采取相应的行动。无论现在还是将来,通过将 InsightEdge Platform、英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘(SSD)与集成式 BigDL* 搭配使用,企业可轻松地在实时分析和 AI 应用领域实现创新,同时降低相关的风险和总体拥有成本(TCO)并实现高敏捷性。

为了了解基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge

Platform 的运行情况(相较于基于上一代处理器和固态盘的 InsightEdge Platform),

GigaSpaces 进行了内部测试。这项测试比较了基于以下两种配置的 InsightEdge Platform

的查询和加载时间:英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。结果显示,与上一代架构相比,采用新一代英特尔® 架构时,该平台具有更快的查询和加载速度。新一代的英特尔® 架构还为 GigaSpaces 用户带来了其他益处。

GigaSpaces InsightEdge Platform

GigaSpaces InsightEdge Platform 所采用的核心技术是 GigaSpaces XAP* 内存数据网格。该平台将快速数据分析功能、AI、ML、DL 和实时应用整合到了一个高性能的成熟软件平台上,它可以部署在云端、本地或混合环境中。该平台包含完整的 Apache Spark* 发行版,并将 Spark 分析框架与所有的 XAP 内存数据网格功能集成在一起。

Spark 发行版由高度可用的集群层来管理,该层具备自愈、99.999% 可用性、无单点故障、本地和区域性冗余等优点。2 通过共置 Spark 作业以及数据网格的低延迟应用结构,用户无需再将分析功能和应用分隔开。用户可以即时访问洞察结果,并根据洞察结果制定决策。

基于英特尔® 架构的 GigaSpaces InsightEdge Platform

基于英特尔® 架构的 GigaSpaces InsightEdge Platform 在本地、云端和混合云部署中均具有极佳的性能表现。与上一代英特尔® 至强® 处理器 E5 v4 家族相比,英特尔® 至强®可扩展处理器具有更加出众的性能。英特尔® 至强® 可扩展处理器还具备以下优点:能为每个系统提供更多的内存,易于扩展,支持低延迟以及较高的每秒输入 / 输出(I/O)操作次数(IOPS)。通过为每个系统提供更多的内存,用户可以在占用较少 RAM 的情况下实时存储、处理和分析数据密集型应用和工作负载,这有助于避免集群的无序扩张并降低本地 TCO。

用于存储数据的英特尔® 傲腾™ 固态盘有助于进一步缩短访问已存储数据时出现的延迟,以提高吞吐量并缩短响应时间。英特尔® 傲腾™ 固态盘还能通过缓解集群和组件的无序扩张、最大限度减少活动部件并实现多层数据存储(InsightEdge Platform 可立即访问所存储的数据),帮助降低 TCO。英特尔® 傲腾™ 固态盘是对 GigaSpaces XAP MemoryXtend* (一个多层数据存储架构)的补充。这些解决方案组合在一起,可以构建一个混合存储模型,其中热数据存储在 RAM 中,冷数据存储在固态盘中,这样便可通过减少所占用的 RAM 来降低成本。

GigaSpaces XAP* 内存数据网格

GigaSpaces XAP 是 GigaSpaces InsightEdge Platform* 所采用的核心内存数据网格技术。

XAP 支持超低延迟和高吞吐量应用。它可以按需扩展应用。另外,其经过简化的架构可以避免集群和组件的无序扩张,从而最大限度减少活动部件并降低 TCO。

测试展现了新一代平台的性能

为了展示基于新一代英特尔® 至强® 可扩展处理器的 GigaSpaces InsightEdge Platform 在本地部署方面的性能表现,GigaSpaces 进行了内部测试。GigaSpaces 在 InsightEdge

Platform 上对 4 GB 大小的数据集进行了地理空间和高级数据分析,以求实时制定运营决策。这项测试比较了以下两种配置:英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列;英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列。英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列将平台的数据加载时间缩短了 33%,并将平台的查询时间缩短了 23%(参见图 2 和图 3)。

图 2. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 36.5 秒;采用英特尔®至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据加载时间为 24.3 秒。

图 3. 比较结果:采用英特尔® 至强® 处理器 E5-2660 v4 和英特尔® 固态盘 DC P3700 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 9.4 秒;采用英特尔® 至强® 铂金 8168 处理器和英特尔® 傲腾™ 固态盘 DC P4800X 系列的 GigaSpaces InsightEdge Platform* 的数据查询时间为 7.2 秒

为何采用英特尔® 至强® 可扩展处理器

英特尔® 至强® 可扩展处理器能够缩短 GigaSpaces InsightEdge Platform 的数据加载和查询时间。因为相较于英特尔® 至强® 处理器 E5 v4 家族,英特尔® 至强® 可扩展处理器能为在线分析处理(OLAP)和在线事务处理(OLTP)提供更多的内存支持。英特尔® 至强® 可扩展处理器有六个内存通道,而测试中所用的英特尔® 至强® 处理器 E5 v4 家族只有四个通道。前者还提供了更为灵活的配置,可以更好地满足高容量高性能计算(HPC)应用和内存密集型工作负载的各种需求。

它可以支持最多 8 路,每路最高 1.5 TB 内存容量,8 路配置提供总计 12 TB 容量,从而增加了内存支持。另外,英特尔® 至强® 铂金处理器具备更多线程;配备 DDR4-2666 内存;其高速外围设备互连 *(PCIe*)3.0 带宽的通道数也多了 8 个,达到 48 个,而在英特尔® 至强® 处理器 E5 v4 家族中仅有 40 个。

除了比上一代处理器具有更多的内核和线程外,英特尔® 至强® 可扩展处理器还采用了全新的微架构,这使得所有 CPU 具有一致的形状,因而任何 CPU 都能插入相同的英特

尔 Socket P 型插槽。这意味着系统能够从双路扩展到 4 路或 8 路,而无需第三方提供的外部芯片组。

全新的微架构是英特尔® 至强® 可扩展处理器的优势之一。英特尔® 至强® 可扩展处理器采用一系列全新增强技术,增加了内存容量和新架构,从而提升了性能、可靠性、可用性、可维护性和可管理性。这些技术包括:

•     经过优化且无需配备图形处理单元(GPU)的机器学习和深度学习框架:用户无需配备 GPU,也不会影响性能。

•     集成式英特尔® QuickAssist 技术(英特尔® QAT):在软件定义基础设施(SDI)中的服务器、存储和网络之间实现了数据压缩和加密等关键工作负载的硬件辅助加速。

•     经过整合且可动态自动配置的内存、存储和网络资源:可根据工作负载的需求,在本地、整个网络和公有云中完成配置。

•     存储创新:包括支持英特尔® 傲腾™ 固态盘和英特尔® 3D NAND 固态盘,提升了数据密集型工作负载的效率和性能。

•     英特尔® 卷管理设备(英特尔® VMD):支持通过 PCIe 总线以热插拔方式更换 NVM Express*(NVMe*)固态盘,且无需关闭系统;标准化的 LED 管理功能则有助于快速识别固态盘的状态。

英特尔® 傲腾™ 固态盘可进一步提升性能

英特尔® 傲腾™ 固态盘兼具内存和存储器的特性,可以充分发挥英特尔® 至强® 可扩展处理器的潜能。英特尔® 傲腾™ 固态盘有助于消除数据中心的存储瓶颈,并能用更为经济的方式处理更大的数据集。英特尔® 傲腾™ 固态盘可以帮助您加速交付应用,降低延迟敏感型工作负载的事务成本,并改善整个数据中心的 TCO,因为这些固态盘可以:

•     实现高达 500,000 的 IOPS,相当于在队列深度为 11 的情况下,约 2 GB/s 的速度。4

•     保持一致的读取响应时间,无论驱动器的写入吞吐量是多少。读取响应时间可保持在 30 微秒(μs)以下,同时可承受高达 2 GB/s 的随机写入压力。4

•     采用英特尔® 内存驱动技术,该技术将固态盘整合到内存子系统中,并使固态盘像 DRAM 一样显示在操作系统和应用中,从而大幅扩展系统内存。

BigDL* 和英特尔® 数学核心函数库(英特尔® MKL)

GigaSpaces InsightEdge Platform 集成了 BigDL 和英特尔® 数学核心函数库(英特尔® MKL),并在各个 Spark 任务中充分利用了多线程编程技术。BigDL 是一个适用于 Spark 的分布式深度学习库,它允许用户以 Scala* 或 Python* 程序的形式创建深度学习应用,并充分利用可扩展 Spark 集群的强大功能。英特尔® MKL 包含经过高度优化、线程化和矢量化的数学函数,可以提高各种英特尔® 处理器的性能。

借助基于英特尔® 架构的 GigaSpaces InsightEdge Platform,减少基础设施的无序扩张并降低 TCO

洞察驱动型企业知道,切实可行的数据洞察可以增加企业收入、削减成本、降低风险并使公司超越竞争对手。此外,如果选择访问即时数据并根据洞察结果采取行动,企业即可通过为内存数据分析和应用使用单个平台(即基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾™ 固态盘的 InsightEdge Platform)来减少基础设施并降低 TCO,从而实现上述目标。

2018-08-28 02:05962

评论

发布
暂无评论
发现更多内容

膜拜!首次公布Java10W字面经,Github访问量破百万

Java 程序员 架构 面试

微博评论高性能高可用计算架构设计

Lane

Linux网络编程-UDP和TCP协议详解

Linux服务器开发

TCP 网络编程 udp 网络协议栈 Linux服务器开发

IP地址定位在网站上的几个代表性应用

郑州埃文科技

Golang Profiling: 关于 pprof

hedzr

Go 语言 profiling

使用ABAP(ADBC)和Java(JDBC)连接SAP HANA数据库

汪子熙

JavaScript SAP abap WebClient UI SAP UI5

区块链与物联网的强强联合将带来巨变

CECBC

Golang Testing 概览 - 补充篇

hedzr

testing Go 语言 assertion

宏碁亮相2021西洽会,以绿色智能“洽谈未来”

科技热闻

JavaScript and Ruby in ABAP

汪子熙

JavaScript SAP abap WebClient UI

使用ABAP批量下载Markdown源文件里的图片到本地

汪子熙

markdown SAP abap download

Jerry和您聊聊Chrome开发者工具

汪子熙

chrome 大前端 SAP Chrome开发者工具

戏说代理模式

编程三昧

随笔 设计模式 开发 代理模式

Hybris UI的Route(路由)实现

汪子熙

Java SAP WebClient UI Hybris

Hybris ECP里Customer对应的数据库表

汪子熙

JavaScript CRM SAP WebClient UI SAP UI5

乾坤大挪移:SAP CRM WebClient UI 和 SAP Fiori UI 混搭并存

汪子熙

CRM SAP abap WebClient UI bsp

ABAP下载的病毒扫描Virus Scan

汪子熙

下载 SAP abap 病毒扫描

通过ABAP代码判断当前系统类型,BYD还是S4 OP还是S4 Cloud

汪子熙

SAP abap S/4HANA SAP Business ByDesign

直呼内行!阿里大佬离职带出内网专属“高并发系统设计”学习笔记

Java 程序员 架构 面试

SAP Cloud for Customer(C4C)和微软Outlook的集成

汪子熙

微软 SAP abap SAP UI5 outlook

如何查看SAP CRM WebUI,C4C和Hybris里的页面技术信息

汪子熙

CRM abap WebClient UI SAP UI5

C/C++学习:C++并发与多线程

奔着腾讯去

c++ 并发 多线程并发 POSIX线程 C++11线程

还在用SELECT COUNT统计数据库表的行数?Out了

汪子熙

SAP abap hana

Internationalization(i18n) support in SAP CRM,UI5 and Hybris

汪子熙

JavaScript CRM SAP abap SAP UI5

从天而降的AI“青云梯”,开发者们准备好了吗?

脑极体

Pulumi AWS 在进行预览更新的时候持续提示 Key 错误

HoneyMoose

SAP ABAP和Hybris的源代码生成工具

汪子熙

Java SAP abap Hybris commerce

Golang Testing 概览 - 深入篇

hedzr

testing Go 语言

你知道 Redis 可以实现延迟队列吗?

xcbeyond

队列 延迟队列 6月日更

help.hybris.com和help.sap.com网站的搜索实现

汪子熙

Java SAP abap Hybris

Redis - 复制

旺仔大菜包

redis

基于英特尔® 架构的 GigaSpaces InsightEdge Platform*_架构_Intel_InfoQ精选文章