写点什么

Turing GPU、Xavier 芯片系统在 MLPerf 基准测试中成绩第一,英伟达 AI 推理加速

  • 2019-11-11
  • 本文字数:2651 字

    阅读完需:约 9 分钟

Turing GPU、Xavier芯片系统在MLPerf基准测试中成绩第一,英伟达AI推理加速

相信很多关注 AI 的人都知道,NVIDIA GPU 曾于  去年12月今年7月两度树立了数据中心神经网络训练的性能标杆。11月6日发布的行业基准测试结果显示,NVIDIA 引领着数据中心内部与外部 AI 网络的趋势。


NVIDIA Turing GPU 和Xavier 芯片系统在首个独立 AI 推理基准测试 ——MLPerf Inference 0.5 中取得第一名。由于推理一直是 AI 市场中最大、同时也是最具竞争力的领域,业内此前一直希望能够有一套客观的推理性能测试指标。


在参与此次测试的十二家公司中,只有 NVIDIA AI 平台提交了 MLPerf的全部五项推理测试成绩(MLPerf 是一个于 2018 年 5 月成立的行业基准测试小组)。这证明了 NVIDIA CUDA-X AITensorRT软件的成熟程度。它们让用户能够更加轻松地将所有的 NVIDIA GPU 应用于数据中心、边缘等领域。


MLPerf 定义了五项推理基准,涵盖了三个现有的人工智能应用:图像分类、目标检测和翻译。每项基准分为四个场景:与数据中心应用关联性最高的服务器和离线场景,以及用于满足边缘设备地芯片系统需求的单流和多流场景。



NVIDIA 在两个数据中心场景(离线和服务器)的全部五项基准测试中均排在第一位,Turing GPU 被评为市面上单处理器性能最高的 GPU。



离线场景中具有代表性的场景有图像标记等,该场景下所有数据可在本地使用;而服务器场景代表性场景有在线翻译服务等,此场景下会突然或间歇性随机出现数据和请求工作。


Xavier 在两个边缘场景(单流和多流)中被评为市面上性能最佳的边缘和移动芯片系统。


工业检测相机主要被用来在快速移动的生产线上发现不合格品,这是一种典型的单流任务。多流场景则是测试芯片能够处理多少个数据源 —— 该性能对于一辆可能需要使用 6 台以上摄像机的自动驾驶汽车而言,是一项关键的能力。



该结果显示了 NVIDIA CUDA 和 TensorRT 软件的性能。它们为用户提供了一个通用平台,使用户可以在多个产品和应用中取得领先结果,而这正是 NVIDIA 所独有的能力。


在数据中心场景中,NVIDIA 的两款 GPU 还出现了相互竞争的场面。NVIDIA TITAN RTX 展示了 Turing 级 GPU 的巨大潜力,尤其是在各种要求苛刻的任务中,比如运行用于语言翻译的 GNMT 模型等。


功能丰富、应用广泛的NVIDIA T4 Tensor Core GPU 在多个场景取得了优秀的成绩。这个功耗仅为 70 瓦的 GPU 能够轻松安装到任何带有 PCIe 槽的服务器中,使用户能够根据需要扩展其计算力,进而大幅扩展其推理工作。


MLPerf 已经获得行业和学术界的广泛支持。其成员包括 Arm、Facebook、Futurewei、通用汽车、Google、哈佛大学、Intel、MediaTek、微软、NVIDIA 及 Xilinx。值得一提的是,相比于之前的两次训练比赛,此次基准测试吸引了更多的参与者。


NVIDIA 此次共采用了三款产品,共计四种配置参加此次测试,并提交了全部 20 个场景中的 19 个场景的成绩,以此表明公司对这项工作的支持。NVIDIA 的合作伙伴 Dell EMC,以及 NVIDIA 的客户阿里巴巴同样使用 NVIDIA GPU 提交了成绩。相比于其他参与者,NVIDIA 与合作伙伴和客户一同向用户全面地展示了 NVIDIA 产品组合的潜力。

全新的视角与产品

推理指的是在实时生产系统中,通过运行AI模型,从大量数据中筛选出可执行洞察的过程。这是一项仍处于发展中的新兴技术,而 NVIDIA 也在该领域中不断前进,未曾停止脚步。


今天,NVIDIA 发布了用于 MLPerf 测试的 Xavier 芯片系统低功耗版本——Jetson Xavier NX ,其最大功率仅为 15 瓦,却具有最高 21 TOPS 的性能。它将为那些对性能要求高、但功率有限的新一代机器人、无人机和其他自主设备提供驱动力。


除了新的硬件之外,NVIDIA 还发布了在 MLPerf 基准测试中所使用的最新TensorRT 6 优化,并在 GitHub 上以开源方式为用户提供该软件。用户可以在MLPerf 开发者博客中了解更多关于这些优化的信息。NVIDIA 不断地对该软件进行升级,使用户可以从日益增加的 AI 自动化与性能中获益。

让推理变得更简单

MLPerf 测试还说明了一个结论,那就是推理很困难。例如,在实际工作负载中,由于推理还需要大量预处理和后处理步骤,那么在实际工作负载中其对推理性能的需求甚至比基准测试更高。


NVIDIA 创始人兼首席执行官黄仁勋在去年 GTC 大会的主题演讲中就曾将这种复杂性概括为一个词:PLASTER。他表示,现代 AI 推理对可编程性(Programmability)、延迟性(Latency)、准确性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和学习率(Rate of Learning)的要求很高。


这就是为何用户越来越喜欢使用高性能的 NVIDIA GPU 和软件来处理各种要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon 和沃尔玛等极具远见的公司。


上周,全球最大的邮政服务系统——美国邮政,也加入了此行列,使用 NVIDIA GPU 进行 AI 训练和推理。


硬盘制造商希捷希望通过在 NVIDIA GPU 上运行的 AI 推理将生产量提高 10%。该公司预计,通过提高效率和质量,其将获得高达 300%的投资回报。Pinterest 依靠 NVIDIA GPU 训练和评估其识别模型并对其 1750 亿条 Pin 贴文执行实时推理。Snap 使用 NVIDIA T4 加速器在谷歌云平台上执行推理。相比于仅采用了 CPU 的系统,这提高了其广告的效果,同时降低了成本。


Twitter 发言人就这一趋势表示:“GPU 的使用不仅大大缩短了训练时间,还让我们在推理时能够实时了解直播视频,让我们可以在自己的平台上了解各媒体。”

AI 对话:关于推理

未来,会话式AI将带来大量的机会以及技术方面的挑战。NVIDIA 在这一领域具有领先优势。


NVIDIA 已经为会话式AI服务提供了经过优化的参照设计,比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA 们的BERTGNMT 和Jasper 等 AI 模型开源优化帮助开发者实现顶尖推理性能。


NVIDIA 的客户和合作伙伴中包括有会话式 AI 领域的一流公司,比如 Kensho、微软、Nuance、Optum 等。


目前,MLPerf 小组已经开始致力于改进其当前的 0.5 推理测试。


注:


1. MLPerf v0.5 数据中心服务器外型因素以及线下和服务器场景推理结果来自 www.mlperf.org,日期:2019 年 11 月 6 日,条目:Inf-0.5-15、Inf-0. 5-16、Inf-0.5-19、Inf-0.5-21、Inf-0.5-22、Inf-0.5-23、Inf-0.5-25、Inf-0.5-26、Inf-0.5-27。通过将主要的总性能指标除以报告的加速器数量计算出单处理器性能。


2. MLPerf v0.5 边缘外型因素以及单流和多流场景推理结果来自 www.mlperf.org,日期:2019 年 11 月 6 日,条目:Inf-0.5-24、Inf-0.5-28、Inf-0.5-29。


2019-11-11 11:461290
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 528.1 次阅读, 收获喜欢 1975 次。

关注

评论

发布
暂无评论
发现更多内容

为什么企业对私有化部署IM如此青睐有加?

WorkPlus

如何在 Zadig 上玩转自动化测试,为业务质量保障提供最大价值

Zadig

云原生 软件测试 CI/CD 软件交付

Moonbeam 漏洞赏金计划,最高奖金 100 万美金!

One Block Community

区块链 波卡 Moonbeam

能让程序员涨薪5K的Hystrix核心工作原理,你真的不打算学吗?

Java工程师

Java 程序员 互联网 微服务 科技

企业怎样有效地进行文档管理

小炮

企业 文档管理

结合实际案例谈谈项目管理经验

云智慧AIOps社区

学习 项目管理 pmp 软考 沟通技巧

jackson学习之三:常用API操作

程序员欣宸

4月月更

腾讯WeTest微信小程序上线啦!产品资讯一手掌握!

WeTest

浅谈Java虚拟机(HotSpot)的内存回收相关细节

CRMEB

EMQ 映云科技 & 阿里云推出“一站式工业数字化解决方案”,共建产业数据湖生态圈

EMQ映云科技

阿里云 开源 物联网 IoT emq

Flink 在众安保险金融业务的应用

Apache Flink

大数据 flink 编程 流计算 实时计算

玩转LiteOS组件:Openexif

华为云开发者联盟

LiteOS Huawei LiteOS Openexif Exif JPEG文件

TiDB 6.0 发版:向企业级云数据库迈进

PingCAP

真的是最全的一致性hash环讲解了

Java工程师

Java 架构 分布式 算法 hash

领域驱动设计(DDD)理论与方法

Java工程师

Java 程序员 互联网 DDD 架构设计

行云管家荣膺《中国网络安全行业全景图(第九版)》收录

行云管家

网络安全 行云管家 安全牛

【IT运维】国内优秀的IT运维企业有哪些?

行云管家

云计算 运维 网络运维 IT运维

Zadig 基于 OPA 实现 RBAC 和 ABAC 权限管理技术方案详解

Zadig

云原生 CI/CD 软件交付

2022年3月国产数据库大事记-墨天轮

墨天轮

数据库 TiDB 国产数据库 KingBase gbase8a

TASKCTL产品安装常见问题

敏捷调度TASKCTL

分布式 kettle ETL ETL任务 调度任务

3分钟了解Vue开发小程序的技术原理

FinClip

FinClip 与 uniapp:轻应用平台与前端开发框架

FinClip

低代码平台常见的安全隐患,J2PaaS低代码平台如何解决?

J2PaaS低代码平台

低代码开发 低代码平台 企业级低代码平台 J2PaaS低代码平台

EMAS隐私合规检测专项服务,从确保形式合规及实质合规规避风险

移动研发平台EMAS

阿里云 开发 数据安全 移动开发 隐私合规

CESS:波卡生态去中心化数据存储的未来

One Block Community

区块链 云存储 去中心化存储 CESS

为什么都是技术合伙人被踢出局?

方云AI研发绩效

团队管理 研发管理 CTO SaaS

专访丨用友网络副总裁邹达:如何应对创新型数字化挑战?

YonBuilder低代码开发平台

波卡动态 | Moonbeam 上第一个3D NFT项目宣布合作

One Block Community

区块链 以太坊 polkadot 波卡 Moonbeam

恒源云(Gpushare)_新功能上线,你确定不进来看看?

恒源云

GPU服务器 GPU算力

Pulsar—新一代云原生消息平台

中原银行

分布式 pulsar 中原银行 分布式消息

招聘 | 多家区块链项目招募开发者!

One Block Community

区块链 招聘 波卡

Turing GPU、Xavier芯片系统在MLPerf基准测试中成绩第一,英伟达AI推理加速_AI&大模型_Terry_InfoQ精选文章