我今年早些时候承诺的由 NVIDIA 提供支持的 G4 实例现已推出,现在,您可以在 AWS 的八个区域开始使用六种大小的实例! 您可以将其用于机器学习训练和推理、视频转码、游戏流和远程图形工作站应用程序。
这些实例配备多达四个 NVIDIA T4 Tensor Core GPU,每个 GPU 配有 320 个 Turing Tensor 核心、2560 个 CUDA 核心和 16GB 内存。该 T4 GPU 是机器学习推理、计算机视觉、视频处理以及实时语音和自然语言处理的理想选择。该 T4 GPU 还配备 RT 核心,可提供由硬件驱动的高效光线跟踪。NVIDIA Quadro 虚拟工作站 (Quadro vWS) 可在 AWS Marketplace 中获取。该工作站支持实时光线追踪渲染,并可以加快在媒体和娱乐、建筑以及石油和天然气应用中常见的创造性工作流程。
G4 实例构建于 AWS Nitro 系统,由 AWS 定制的第二代 Intel® Xeon® 可扩展处理器 (Cascade Lake) 提供支持,该处理器配有多达 64 个 vCPU。Nitro 本地 NVMe 存储构建数据块可提供对高达 1.8TB 的快速本地 NVMe 存储的直接访问权限。Nitro 网络构建数据块可提供高速 ENA 网络。Intel AVX512-Deep Learning Boost 功能利用一组新的矢量神经网络指令(简写为 VNNI)扩展了 AVX-512。这些指令加速了多种推理算法内循环中的低精度乘法与加法运算。
实例大小如下:
我们还在研究一个裸机实例,该实例将在未来几个月内推出:
如果要在 G4 实例上运行显卡工作负载,请确保使用最新版本的 NVIDIA AMI(可在 AWS Marketplace 中获得),以便您可以访问必需的 GRID 和显卡驱动程序,以及包含最新优化和补丁的 NVIDIA Quadro 工作站映像。您可以在以下位置找到所需内容:
NVIDIA 游戏 – Windows Server 2016
NVIDIA 游戏 – Windows Server 2019
NVIDIA 游戏 – Ubuntu 18.04
最新版本的 AWS Deep Learning AMI 支持 G4 实例。开发出该 AMI 的团队对 g3.16xlarge 实例与 g4dn.12xlarge 实例进行了基准测试,并与我共享结果。以下是部分重点内容:
MxNet 推理(resnet50v2,无需使用 MMS 即可进行正向传递)– 速度为 2.03 倍。
MxNet 推理(使用 MMS)– 速度为 1.45 倍。
MxNet 训练(resnet50_v1b,1 个 GPU)– 速度为 2.19 倍。
Tensorflow 推理(resnet50v1.5,正向传递)– 速度为 2.00 倍。
利用 Tensorflow 服务进行 Tensorflow 推理 (resnet50v2) – 速度为 1.72 倍。
Tensorflow 训练 (resnet50_v1.5) – 速度为 2.00 倍。
基准测试使用 FP32 数值精度;如果您使用混合精度 (FP16) 或低精度 (INT8),则可以期待更大幅度的提升。
现在,您可以在美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、亚太地区(首尔)和亚太地区(东京)区域启动 G4 实例。我们还致力于让这些实例可在 Amazon SageMaker 和 Amazon EKS 集群中使用。
本文转载自 AWS 技术博客。
原文链接:
评论