写点什么

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

  • 2024-09-27
    北京
  • 本文字数:971 字

    阅读完需:约 3 分钟

大小:527.60K时长:03:00
最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍

“英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日的发布会上说道。

 

英特尔本次宣布上市的至强 6900P 系列处理器(代号 Granite Rapids-AP),最高配备 128 个内核,支持高达每秒 6400MT 的 DDR5 内存、每秒 8800MT 的 MRDIMM 内存、6 条 UPI 2.0 链路(速率高达每秒 24 GT),96 条 PCIe 5.0 或 64 条 CXL 2.0 通道、504MB 的 L3 缓存,支持 FP16 数据格式的英特尔® 高级矩阵扩展(英特尔® AMX),可为 AI 和科学计算等内存带宽敏感型工作负载提供 MRDIMM 选择,且新增对 CXL 2.0 的支持。


 英特尔至强 6900P 系列具备三个计算单元和两个 IO 单元,其中计算单元里包含了最重要的 X86 内核、内存控制器和缓存,I/O 单元里面包含了 PCle、CXL、UPI 等通用协议,也包括了英特尔独有的加速器。

 


“性能装备从 64 核到 128 核,单核性能 1.2 倍提升,每一个核都比以前更快。上一代平台所需电量是 350 瓦,这一代需要更多的供电(500 瓦),但我们在增加 30%功耗的情况下,算力却拥有了双倍提升。所以我们相信,在综合考量范围下,我们能够跟厂商打造一个更新、更强大、更高效的平台,并帮助最终用户降低 30%的 TCO。”陈葆立说道。    

 

英特尔至强 6 性能核的处理器测试运行了 12 种不同的常见工作负载,包括通用计算、数据库、科学计算、AI 大模型(包括 Llama2,Llama3 )等,结果显示,单颗 CPU 性能和每瓦特性能与上一代产品相比快了两倍以上。值得注意的是,70 亿参数的 Llama2 大模型推理在 AMX 加速下,至强 6 处理器相比前一代有了 3.08 倍的提升。


 

MRDIMM 是业界备受关注的领先内存技术,利用组装其上的数据缓冲区,实现两个列的同步操作,从而允许一次向 CPU 传输 128 字节的数据,而传统 DRAM 模块一次传输 64 字节。英特尔至强 6 性能核处理器,一个是使用标配 6400MT/s,一个是使用更快的 MRDIMM 内存,对内存非常敏感的工作负载,包括科学计算、AI 等,有 1.2-1.3 倍的提升。

 


 另外,CXL 也是英特尔发起的一个全新的技术,通过 CXL 扩展可以在数据库或者大内存的场景里支持更多、更大的内存。当前,英特尔 CXL 2.0 支持多种设备类型(Type 1、Type 2 和

Type 3)且可向后兼容 CXL 1.1;支持链路分叉 (link bifurcation),即使一个主机端口

可以对接多个设备;提供更强的 CXL 内存 (Type 3) 分层支持,可实现容量和带宽扩展,同时支持以受控热插拔的方式添加/移除设备。

2024-09-27 15:1111501

评论

发布
暂无评论
发现更多内容

一个公式告诉你:如何提升团队的研发效率?

凌晞

技术管理 研发效率

基于 HTML+CSS+JS 的石头剪刀布游戏

海拥(haiyong.site)

html 大前端 游戏 4月月更

每个计算机人才都应该知道的IP地址分类

喀拉峻

计算机基础 IP

ffmpeg实现web在线转码

lo

4月月更

两步实现让antd与IDE和睦相处的处理案例

袋鼠云数栈

大数据 开源

融合通信常见问题3月刊 | 云信小课堂

网易云信

前端

RabbitMQ 实现延时队列(订单定时取消为例)

Ayue、

Rabbit MQ 4月月更

龙蜥开源Plugsched:首次实现 Linux kernel 调度器热升级 | 龙蜥技术

OpenAnolis小助手

Linux 内核 龙蜥社区 Plugsched

什么是元宇宙?为何要关注它?

CECBC

私有链还有未来吗?

CECBC

【愚公系列】2022年04月 MinIO文件存储服务器-window11下的安装

愚公搬代码

4月月更

北京市东城区赵海东副区长一行莅临博睿数据参观指导

博睿数据

百度信誉保障服务架构全解析

百度Geek说

后端

Web 3.0的未来产业趋势

王强

Web 3.0

数栈在湖仓一体上的探索与实践

袋鼠云数栈

数据库 大数据 数据湖 湖仓一体

在线JSON美化格式化工具

入门小站

工具

在线QuartzCron定时任务表达式在线生成

入门小站

工具

深入理解 Page Cache

mazhen

Linux Performance Linux Kenel PageCache

Ribbon从入门到源码解析

李子捌

微服务 SpringCloud Ribbon

CTF逆向涉及的各种加密算法

网络安全学海

网络安全 信息安全 CTF 渗透测试 漏洞挖掘

React代码规范

Teobler

React 代码规范 编码规范 react规范

netty系列之:netty中的核心MessageToMessage编码器

程序那些事

Java Netty 程序那些事 4月月更

使用FFMPEG自动剪辑视频

十三

一起看看 Go 1.18 新特性之多模块工作区模式

宇宙之一粟

Go 语言 4月月更

如何保证同事的代码不会腐烂?一文带你了解 阿里巴巴 COLA 架构

Zhendong

Java 架构 4月月更

透过「人月神话」,看清软件开发问题

架构精进之路

软件开发 人月神话 4月日更 4月月更

Improvements of Job Scheduler and Query Execution on Flink OLAP

Apache Flink

大数据 flink 编程 实时计算 OLAP

墨水屏的“硬伤”与福气

脑极体

关于元宇宙热的冷思考

CECBC

Linux之last命令

入门小站

Linux

活动预告 | OpenMLDB Meetup No.2

第四范式开发者社区

人工智能 机器学习 数据库 Meetup OpenMLDB

最高配128核!英特尔至强6性能核处理器发布:运行Llama2-7B 快了3.08倍_AI&大模型_褚杏娟_InfoQ精选文章