AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

Amazon EC2 P3 实例多达 8 个 NVIDIA Tesla V100 GPUs 提供支持

  • 2019-11-07
  • 本文字数:2037 字

    阅读完需:约 7 分钟

Amazon EC2 P3 实例多达 8 个 NVIDIA Tesla V100 GPUs 提供支持

自从我们于 2006 年发布最初的 m1.small 实例以来,在客户需求的推动以及不断发展的先进技术的支持下,我们后续推出了各种强调计算能力、超频性能、内存大小、本地存储和加速计算的实例。


新的 P3


现在,我们正在打造下一代 GPU 加速的 EC2 实例,这些实例将会在 4 个 AWS 区域提供。P3 实例由多达 8 个 NVIDIA Tesla V100 GPU 提供支持,可用于处理计算密集型的机器学习、深度学习、计算流体动力学、计算金融学、地震分析、分子模拟和基因组学工作负载。


P3 实例使用运行速度可高达 2.7 GHz 的 Intel Xeon E5-2686v4 定制处理器。有三种大小的实例可供选择 (所有均仅限 VPC 和 EBS):


col 1col 2col 3col 4col 5col 6col 7col 8
模型NVIDIA Tesla V100 GPUGPU 内存NVIDIA NVLinkvCPU主内存网络带宽EBS 带宽
p3.2xlarge116 GiB不适用861 GiB最高 10 Gbps1.5 Gbps
p3.8xlarge464 GiB200 GBps32244 GiB10 Gbps7 Gbps**


**


p3.16xlarge | 8 | 128 GiB | 300 GBps | 64 | 488 GiB | 25 Gbps | 14 Gbps**


**


每个 NVIDIA GPU 都封装了 5,120 个 CUDA 核心和另外 640 个 Tensor 核心,最高可以提供 125 TFLOPS 的混合精度浮点、15.7 TFLOPS 的单精度浮点和 7.8 TFLOPS 的双精度浮点。在两种较大的实例上,GPU 通过以高达 300 GBps 的总数据速率运行的 NVIDIA NVLink 2.0 连接在一起。 这使 GPU 可以高速交换中间结果和其他数据,而不必使其通过 CPU 或 PCI-Express 结构进行。


什么是 Tensor 核心?


我在开始写这篇文章之前,从未听说过“Tensor 核心”这个词。根据 NVIDIA 博客上的这篇非常有帮助的文章的介绍,Tensor 核心是专为加快大型、深度神经网络的训练和推理而设计的。每个核心可以快速高效地将两个 4×4 半精度 (也称为 FP16) 矩阵相乘,然后将得到的 4×4 矩阵与另一个半精度或单精度 (FP32) 矩阵相加,最后将得到的 4×4 矩阵以半精度或单精度的形式存储起来。下面是摘自 NVIDIA 博客文章中的示意图:



此运算发生在深度神经网络训练进程的最内层循环中,这个出色的示例展示了如今的 NVIDIA GPU 硬件是如何为应对非常具体的市场需求而专门打造的。顺便提一下,有关 Tensor 核心性能的_混合精度_这个限定词意味着,它非常灵活,完全可以处理 16 位和 32 位浮点值组合使用的情况。


性能视角


我总是喜欢将原始的性能数字放入到实际生活视角中,这样,这些数字与生活的关系就会更加密切,并且更有意义 (希望如此)。考虑到单个 p3.16xlarge 上的 8 个 NVIDIA Tesla V100 GPU 可以每秒执行 125 万亿次单精度浮点乘法,要将它与现实相联系就变得异乎寻常地困难。


让我们回到微处理器时代之初,想想我在 1977 年夏天购买的 MITS Altair 中的 Intel 8080A 芯片。该芯片使用 2 MHz 时钟频率,每秒可以执行大约 832 次乘法 (我使用了此处的数据并更正为更快的时钟速度)。p3.16xlarge 比该芯片快了大约 1500 亿倍。然而,从那年夏天到现在才过去了 12 亿秒。换言之,我现在一秒钟所做的计算,比我的 Altair 在过去 40 年里可以完成的计算的 100 倍还要多!


1981 年夏季发布的 IBM PC 有一种可选配件,那就是创新型 8087 算术协同处理器,它的情况又如何呢?该处理器使用 5 MHz 时钟频率和专门打造的硬件,每秒可以执行大约 52,632 次乘法。从那时到现在已经过去了 11.4 亿秒,而 p3.16xlarge 要比它快 23.7 亿倍,因此,这台可怜的小 PC 在过去 36 年里完成的计算量勉强才达到现在 1 秒钟可完成的计算量的一半。


好了,Cray-1 又如何呢? 这台超级计算机最早出现在 1976 年,执行矢量运算的速度为 160 MFLOPS,p3.x16xlarge 比它快了 781,000 倍。在推出以后的这些年中,这台计算机针对某些有意思的问题迭代改进了 1500 次。


考虑到您可以将 P3 视作一台超级计算机中可以根据需要启动的分步重复组件,因此更难将 P3 与现在的横向扩展型超级计算机进行比较。


**立即运行一个实例


**要充分利用 NVIDIA Tesla V100 GPU 和 Tensor 核心,您需要使用 CUDA 9cuDNN7。这些驱动程序和库已经添加到最新版本的 Windows AMI 中,并且将会包含在计划于 11 月 7 日发布的更新的 Amazon Linux AMI 中。新的程序包已经在我们的存储库中提供,如果需要,您可以在您现有的 Amazon Linux AMI 上安装它们。


最新的 AWS Deep Learning AMI 将会预装在最新版本的 Apache MxNet、Caffe2 和 Tensorflow 中 (均支持 NVIDIA Tesla V100 GPU),并且在 Microsoft Cognitive Toolkit 和 PyTorch 等其他机器学习框架发布对 NVIDIA Tesla V100 GPU 的支持之后,AWS Deep Learning AMI 将会进行更新,以使用这些框架来支持 P3 实例。您也可以针对 NGC 使用 NVIDIA Volta Deep Learning AMI。


在美国东部 (弗吉尼亚北部)、美国西部 (俄勒冈)、欧洲 (爱尔兰) 和亚太地区 (东京) 区域,P3 实例以按需、竞价、预留实例和专用主机的形式提供。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/new-amazon-ec2-instances-with-up-to-8-nvidia-tesla-v100-gpus-p3/


2019-11-07 08:001256

评论

发布
暂无评论
发现更多内容

大型互联网应用系统技术和手段

纯纯

week04总结

seki

架构师训练营第四周作业

lwy

极客大学架构师训练营

架构师训练营 -week04 学习总结

GunShotPanda

奔向 10W+ 的第二次 update

赵新龙

写作平台 B站 Quora

第四周作业

安阳

架构师训练营0期第四周 - 学习总结

lei Shi

【架构师训练营 - 总结4】

Andy

大型互联网技术架构体系

dony.zhang

【极客大学】【架构师训练营】【第四周】学习总结

NieXY

极客大学架构师训练营

大型互联网应用系统使用技术方案和手段

wei

week04作业

seki

案例讲解,设计模式定义

秤须苑

架构师训练营第 4 周学习总结

Season

高可用 分布式系统 高性能 极客大学架构师训练营

眼睛一闭一睁,2020年上半年就过去了

赵新龙

2020 年度计划

架构师训练营第4期作业/学习总结

JUN

【架构师训练营 - 作业 -4】大型互联网架构

Andy

软件架构发展史

Jeannette

想解耦必分层

菜根老谭

程序员 架构思维 分层思维

架构师训练营 -week04 作业

GunShotPanda

架构师训练营第四课总结

曾祥斌

第四周总结

lwy

极客大学架构师训练营

【第四周】命题作业——大型互联网系统的技术解决方案和手段

三尾鱼

极客大学架构师训练营

第四周学习总结

天之彼方

架构师训练营第四周作业

Geek_2dfa9a

一个典型大型互联网应用系统:从问题到技术方案和手段

走过路过飞过

架构师训练营 第四周 总结 互联网系统架构演进

CR

极客大学架构师训练营

架构师训练营 第四周 作业

亮灯

【架构课总结 - 第四周】常见架构模式和技术

Nelson

架构总结

第四周学习总结

慵秋

架构师训练营第四周总结

Geek_2dfa9a

Amazon EC2 P3 实例多达 8 个 NVIDIA Tesla V100 GPUs 提供支持_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章