写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1111454

评论

发布
暂无评论
发现更多内容

在专业iPaaS厂商与大型软件企业间如何选择

RestCloud

解决方案 数据集成 ipaas

全栈开发与自动化测试高薪私教班,带你从0到1拿到高薪Offer

霍格沃兹测试开发学社

百度智能云加速「低代码+大模型」融合,爱速搭位居 2023 年 IDC 低代码/无代码领导者象限

Baidu AICLOUD

低代码平台 大模型 爱速搭 AIGC 企业级开发

IPQ9574 and IPQ9554 chips integrate Qualcomm’s AI engine-advanced QoS technology

wifi6-yiyi

ipq9554 ipq9574

SD-WAN解决企业在工业互联网时代的新困境

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

全栈开发与自动化测试高薪私教班,带你从0到1拿到高薪Offer

测吧(北京)科技有限公司

测试

从基础到代码实战,带你进阶正则表达式的全方位应用

快乐非自愿限量之名

php 正则表达式 代码

Kyligence 亮相 Gartner 数据与分析峰会,生成式 AI 落地赋能业务

Kyligence

聚道云连接器助力航信费控与用友U8无缝对接,赋能供应链管理

聚道云软件连接器

案例分享

SpaceX 星舰发射「成功一半」;首位具身 AI 机器人面世丨 RTE 开发者日报 Vol.166

声网

结合微帧编码引擎,从视频编解码角度对Sora浅析

微帧Visionular

PlayBook 详解

不在线第一只蜗牛

Linux 网络 服务器

解锁区块链游戏数据解决方案

Footprint Analytics

链游

SD-WAN怎样提高网络管理的效率?

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

2024 年 2 月公链行业研报

Footprint Analytics

比特币 公链 defi Layer 2

科技创新引领零售商品部降本增效的未来

第七在线

新经济时代企业财务管理系统的新需求解读

智达方通

业财融合 财务管理 企业财务预算管理

为什么投递的简历无响应?

王磊

Java 面试

一文详解前端发展趋势

不在线第一只蜗牛

前端 前端开发 前端框架

Flink 简述

木南曌

flink 实时计算

区块链项目包装攻略,区块链项目包装运营

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

Python中的机器翻译技术与应用

技术冰糖葫芦

API API 接口

赛博威获颁“华南区数字营销优秀案例”奖及“广东省名优高新技术产品”证书,领先的数字营销能力获双重认可!

赛博威科技

5G与SD-WAN的结合为企业网络注入新活力

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章