写点什么

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)

  • 2019-09-26
  • 本文字数:1446 字

    阅读完需:约 5 分钟

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)

我今年早些时候承诺的由 NVIDIA 提供支持的 G4 实例现已推出,现在,您可以在 AWS 的八个区域开始使用六种大小的实例! 您可以将其用于机器学习训练和推理、视频转码、游戏流和远程图形工作站应用程序。


这些实例配备多达四个 NVIDIA T4 Tensor Core GPU,每个 GPU 配有 320 个 Turing Tensor 核心、2560 个 CUDA 核心和 16GB 内存。该 T4 GPU 是机器学习推理、计算机视觉、视频处理以及实时语音和自然语言处理的理想选择。该 T4 GPU 还配备 RT 核心,可提供由硬件驱动的高效光线跟踪。NVIDIA Quadro 虚拟工作站 (Quadro vWS) 可在 AWS Marketplace 中获取。该工作站支持实时光线追踪渲染,并可以加快在媒体和娱乐、建筑以及石油和天然气应用中常见的创造性工作流程。


G4 实例构建于 AWS Nitro 系统,由 AWS 定制的第二代 Intel® Xeon® 可扩展处理器 (Cascade Lake) 提供支持,该处理器配有多达 64 个 vCPU。Nitro 本地 NVMe 存储构建数据块可提供对高达 1.8TB 的快速本地 NVMe 存储的直接访问权限。Nitro 网络构建数据块可提供高速 ENA 网络。Intel AVX512-Deep Learning Boost 功能利用一组新的矢量神经网络指令(简写为 VNNI)扩展了 AVX-512。这些指令加速了多种推理算法内循环中的低精度乘法与加法运算。


实例大小如下:


实例名称NVIDIA T4 Tensor Core GPUvCPURAM本地存储EBS 带宽网络带宽
g4dn.xlarge1416GiB1 x 125GB最高 3.5Gbps最高 25Gbps
g4dn.2xlarge1832GiB1 x 225GB最高 3.5Gbps最高 25Gbps
g4dn.4xlarge11664GiB1 x 225GB最高 3.5Gbps最高 25Gbps
g4dn.8xlarge132128GiB1 x 900GB7Gbps50Gbps
g4dn.12xlarge448192GiB1 x 900GB7Gbps50Gbps
g4dn.16xlarge164256GiB1 x 900GB7Gbps50Gbps


我们还在研究一个裸机实例,该实例将在未来几个月内推出:


实例名称NVIDIA T4 Tensor Core GPUvCPURAM本地存储EBS 带宽网络带宽
g4dn.metal896384GiB2 x 900GB14Gbps100Gbps


如果要在 G4 实例上运行显卡工作负载,请确保使用最新版本的 NVIDIA AMI(可在 AWS Marketplace 中获得),以便您可以访问必需的 GRID 和显卡驱动程序,以及包含最新优化和补丁的 NVIDIA Quadro 工作站映像。您可以在以下位置找到所需内容:


  • NVIDIA 游戏 – Windows Server 2016

  • NVIDIA 游戏 – Windows Server 2019

  • NVIDIA 游戏 – Ubuntu 18.04

  • 最新版本的 AWS Deep Learning AMI 支持 G4 实例。开发出该 AMI 的团队对 g3.16xlarge 实例与 g4dn.12xlarge 实例进行了基准测试,并与我共享结果。以下是部分重点内容:

  • MxNet 推理(resnet50v2,无需使用 MMS 即可进行正向传递)– 速度为 2.03 倍。

  • MxNet 推理(使用 MMS)– 速度为 1.45 倍。

  • MxNet 训练(resnet50_v1b,1 个 GPU)– 速度为 2.19 倍。

  • Tensorflow 推理(resnet50v1.5,正向传递)– 速度为 2.00 倍。

  • 利用 Tensorflow 服务进行 Tensorflow 推理 (resnet50v2) – 速度为 1.72 倍。

  • Tensorflow 训练 (resnet50_v1.5) – 速度为 2.00 倍。

  • 基准测试使用 FP32 数值精度;如果您使用混合精度 (FP16) 或低精度 (INT8),则可以期待更大幅度的提升。


现在,您可以在美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、美国西部(加利福尼亚北部)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、亚太地区(首尔)和亚太地区(东京)区域启动 G4 实例。我们还致力于让这些实例可在 Amazon SageMaker 和 Amazon EKS 集群中使用。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/now-available-ec2-instances-g4-with-nvidia-t4-tensor-core-gpus/


2019-09-26 16:441628
用户头像

发布了 1855 篇内容, 共 127.7 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试 | 测试计划目标

测吧(北京)科技有限公司

测试

M洞察|“MOBA”还是“MMO”?2023上半年热门手游大盘点来了,拯救你的游戏荒

MobTech袤博科技

INFINI Labs 产品更新 | Console 新增数据比对、新增数据看板表格组件及支持下钻功能等

极限实验室

console Gateway 极限网关 easysearch 极限科技

软件测试 | 编写软件测试计划的注意事项

测吧(北京)科技有限公司

测试

开源数据可视化开发平台FlyFish数据源应用教程详解

云智慧AIOps社区

前端 大前端 低代码 数据可视化

软件测试 | 模块化与模块独立性

测吧(北京)科技有限公司

测试

PC、手机丝滑合体!移动时代的最大痛点 英特尔和腾讯搞定了

E科讯

ChatGPT再起争端,如何应对未来的机器挑战?速来学习解决方法!

加入高科技仿生人

人工智能 AI 数字技术 AIGC ChatGPT

低代码平台简介(10家国产化低代码平台详细介绍)

优秀

低代码开发平台 低代码平台

再获工信部认可!海泰方圆方案获评“2022年信息技术应用创新解决方案”

电子信息发烧客

走进“上电科”,共探企业信创选型之路

通明湖

神州云科全国巡展·金融客户会北京站成功举办

通明湖

开发敏捷高效 | 云原生应用开发与运维新范式

CODING DevOps

JMeter笔记9 | JMeter参数化

测试 Jmeter 性能测试 自动化测试 接口测试

日程和任务管理:Things3 中文激活版 支持m1

真大的脸盆

Mac Mac 软件 任务管理器 任务管理工具

如何让服务器性能“备而不闲”?

通明湖

简单、快速|DeployKit 云部署套件

CODING DevOps

腾讯安全携手行业伙伴,详解攻击面管理(ASM)核心能力

Geek_2d6073

重塑DeFi:深入了解Solaris Network

西柚子

直击不断变化的世界,企业可以学到什么?

智达方通

智达方通 全面预算管理 企业绩效管理 FP&A 财务计划与分析

软件测试/测试开发丨学习笔记之接口自动化测试

测试人

程序员 软件测试 自动化测试 测试开发 接口自动化

阿里P8写出的《深入理解Java虚拟机》最新版,轻松学会JVM底层

程序知音

Java JVM Java虚拟机 Java进阶 后端技术

优雅处理HTTP请求:过滤器拦截器、ControllerAdvice和自定义AOP

Java你猿哥

Java Spring Boot ssm 过滤器 拦截器

全景描绘云原生技术图谱,首个《云原生应用引擎技术发展白皮书》重磅发布

通明湖

软件测试 | 不合格需求分析的风险

测吧(北京)科技有限公司

测试

软件测试生命周期

测吧(北京)科技有限公司

测试

软件测试/测试开发丨App自动化测试高级定位技巧

测试人

程序员 软件测试 自动化测试 测试开发

GitHub标星11.9k兼职项目!基于SpringBoot + VUE电商-分销商城系统

Java你猿哥

源码 Spring Boot Vue ssm uni-app demo

自动化导入路由

巨梦科技

配有 NVIDIA T4 Tensor Core GPU 的 EC2 实例 (G4)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章