AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)

  • 2019-09-26
  • 本文字数:1446 字

    阅读完需:约 5 分钟

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)

我今年早些时候承诺的由 NVIDIA 提供支持的 G4 实例现已推出,现在,您可以在 AWS 的八个区域开始使用六种大小的实例! 您可以将其用于机器学习训练和推理、视频转码、游戏流和远程图形工作站应用程序。


这些实例配备多达四个 NVIDIA T4 Tensor Core GPU,每个 GPU 配有 320 个 Turing Tensor 核心、2560 个 CUDA 核心和 16GB 内存。该 T4 GPU 是机器学习推理、计算机视觉、视频处理以及实时语音和自然语言处理的理想选择。该 T4 GPU 还配备 RT 核心,可提供由硬件驱动的高效光线跟踪。NVIDIA Quadro 虚拟工作站 (Quadro vWS) 可在 AWS Marketplace 中获取。该工作站支持实时光线追踪渲染,并可以加快在媒体和娱乐、建筑以及石油和天然气应用中常见的创造性工作流程。


G4 实例构建于 AWS Nitro 系统,由 AWS 定制的第二代 Intel® Xeon® 可扩展处理器 (Cascade Lake) 提供支持,该处理器配有多达 64 个 vCPU。Nitro 本地 NVMe 存储构建数据块可提供对高达 1.8TB 的快速本地 NVMe 存储的直接访问权限。Nitro 网络构建数据块可提供高速 ENA 网络。Intel AVX512-Deep Learning Boost 功能利用一组新的矢量神经网络指令(简写为 VNNI)扩展了 AVX-512。这些指令加速了多种推理算法内循环中的低精度乘法与加法运算。


实例大小如下:


实例名称NVIDIA T4 Tensor Core GPUvCPURAM本地存储EBS 带宽网络带宽
g4dn.xlarge1416GiB1 x 125GB最高 3.5Gbps最高 25Gbps
g4dn.2xlarge1832GiB1 x 225GB最高 3.5Gbps最高 25Gbps
g4dn.4xlarge11664GiB1 x 225GB最高 3.5Gbps最高 25Gbps
g4dn.8xlarge132128GiB1 x 900GB7Gbps50Gbps
g4dn.12xlarge448192GiB1 x 900GB7Gbps50Gbps
g4dn.16xlarge164256GiB1 x 900GB7Gbps50Gbps


我们还在研究一个裸机实例,该实例将在未来几个月内推出:


实例名称NVIDIA T4 Tensor Core GPUvCPURAM本地存储EBS 带宽网络带宽
g4dn.metal896384GiB2 x 900GB14Gbps100Gbps


如果要在 G4 实例上运行显卡工作负载,请确保使用最新版本的 NVIDIA AMI(可在 AWS Marketplace 中获得),以便您可以访问必需的 GRID 和显卡驱动程序,以及包含最新优化和补丁的 NVIDIA Quadro 工作站映像。您可以在以下位置找到所需内容:


  • NVIDIA 游戏 – Windows Server 2016

  • NVIDIA 游戏 – Windows Server 2019

  • NVIDIA 游戏 – Ubuntu 18.04

  • 最新版本的 AWS Deep Learning AMI 支持 G4 实例。开发出该 AMI 的团队对 g3.16xlarge 实例与 g4dn.12xlarge 实例进行了基准测试,并与我共享结果。以下是部分重点内容:

  • MxNet 推理(resnet50v2,无需使用 MMS 即可进行正向传递)– 速度为 2.03 倍。

  • MxNet 推理(使用 MMS)– 速度为 1.45 倍。

  • MxNet 训练(resnet50_v1b,1 个 GPU)– 速度为 2.19 倍。

  • Tensorflow 推理(resnet50v1.5,正向传递)– 速度为 2.00 倍。

  • 利用 Tensorflow 服务进行 Tensorflow 推理 (resnet50v2) – 速度为 1.72 倍。

  • Tensorflow 训练 (resnet50_v1.5) – 速度为 2.00 倍。

  • 基准测试使用 FP32 数值精度;如果您使用混合精度 (FP16) 或低精度 (INT8),则可以期待更大幅度的提升。


现在,您可以在美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、亚太地区(首尔)和亚太地区(东京)区域启动 G4 实例。我们还致力于让这些实例可在 Amazon SageMaker 和 Amazon EKS 集群中使用。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/now-available-ec2-instances-g4-with-nvidia-t4-tensor-core-gpus/


2019-09-26 16:441673
用户头像

发布了 1858 篇内容, 共 131.7 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

手撸二叉树之左子树之和

HelloWorld杰少

9月日更

音视频剪辑DIY:用Python快速入门音视频剪辑

老猿Python

Python 音视频 视频剪辑 Moviepy 引航计划

计算机操作系统学习笔记 | 操作系统功能

Regan Yue

操作系统 9月日更

数据规范的重要性

奔向架构师

数据治理 9月日更

ECIC演讲精华|如何构建云原生应用下的高性能持久化存储?

焱融科技

技术 分布式 云原生 高性能 存储技术

源码解读Dubbo分层设计思想

vivo互联网技术

Apache dubbo 服务器 spi

linux之dos2unix命令

入门小站

Linux

在线JSON转io-ts工具

入门小站

工具

密码学系列之:海绵函数sponge function

程序那些事

密码学 程序那些事 海绵函数

潜入培训机构,顺出来一份价值 2.2W 的 Python 人工智能大纲

梦想橡皮擦

9月日更

【LeetCode】栈的最小值Java题解

Albert

算法 LeetCode 9月日更

谈 C++17 里的 Visitor 模式

hedzr

c++ 设计模式 Design Patterns GoF设计模式

MQ是一种新的通信模式

风翱

MQ 9月日更

硬核!4396万字神文精解高并发高可用系统实战,分布式系统一致性文档一经面试震惊寰宇!

Java 编程 架构 面试 程序人生

华为云首席产品官方国伟:没有人拥有看到未来的水晶球,云上突围之路如何走?

华为云开发者联盟

云计算 云原生 数字化转型 华为云 伙伴云

一行Java代码实现游戏中交换装备

华为云开发者联盟

Java 线程 游戏 Exchanger JDK 1.5

新思科技:部署数据安全战略,加强安全管理和隐私保护

InfoQ_434670063458

数据安全 新思科技

2021年区块链被列为“七大重点产业之一”

CECBC

macOS 制作 linux 启动盘

耳东@Erdong

Mac 软件 9月日更

数据库为何又如何走向分布式?

多颗糖

MySQL 数据库 分布式 raft TiDB

Python——lambda 函数

在即

9月日更

[资源收藏]高质量外文博客(持续更新)

baiyutang

9月日更

大一 PingCAP、大二 JetBrains,专访 00 后开发者:千里冰封

郭旭东

开发者 采访 大学生

小白也能看懂的dubbo3应用级服务发现详解

捉虫大师

dubbo 服务发现 Dubbo3

Python中如何优雅的使用assert断言

wangkx

Python assert

oh,我的老伙计,你看看这近五十个dapr视频

newbe36524

k8s dapr

翻转未来!钢铁之城重添色彩

脑极体

聊聊新工具Hutool

卢卡多多

POI 数据导入 9月日更

【Flutter 专题】47 图解新的状态管理 Provider (二)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

移动WEB开发会用到的 5 个API

devpoint

WebGL canvas Fetch 9月日更

敬自由:破壁人华为,开启PC的无界探索

脑极体

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章