QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

面向机器学习从业人员的新 AWS Deep Learning AMI

  • 2019-11-06
  • 本文字数:2114 字

    阅读完需:约 7 分钟

面向机器学习从业人员的新 AWS Deep Learning AMI

我们非常高兴宣布推出两个新版本的 AWS Deep Learning AMI:一个是基于 Conda 的 AMI,它具有单独的 Python 环境,面向通过 Conda 这个热门开源软件包和环境管理工具创建的深度学习框架;另一个是 Base AMI,它带有 GPU 驱动程序和库,可用来部署您自己的自定义深度学习模型。


在学术界和业界,从框架和算法到新的方法和理论,深度学习技术正在快速发展。对于需要快速安全测试算法、针对特定版本框架进行优化、运行测试和设置基准或从头开始合作项目的开发人员而言,这一切显得非常复杂。虚拟环境可为这些工作提供自由和灵活性,这就是我们现在向 AWS Deep Learning AMI 加入虚拟技术的原因。我们还准备了全新的开发人员资源,以帮助您详细了解这些 AMI,帮助您为项目选择合适的 AMI以及深入学习实践教程

基于 Conda 的新 Deep Learning AMI

基于 Conda 的 AMI 预安装了 Python 环境,适合使用 Conda 创建的深度学习。每个基于 Conda 的 Python 环境都配置为包括常见深度学习框架及其依赖项。将它视为一个完全备份的虚拟环境,随时可以运行您的深度学习代码,例如,用来训练神经网络模型。我们的分步指南提供了有关如何为所选深度学习框架激活环境或使用简单的单行命令在不同环境之间进行切换的说明。


该 AMI 的优势不止于此。该 AMI 上的环境以相互隔离、独立的沙盒形式运行。这意味着,当您在沙盒内运行自己的深度学习代码时,可以全面了解和控制其运行时环境。您可以安装新软件包、升级现有软件包或更改环境变量,完全不用担心影响 AMI 上的其他深度学习环境。 这种级别的执行环境灵活性和精细控制还意味着您现在可以对深度学习模型运行一致和随着时间推移可再现的测试以及设置性能基准。


最后,该 AMI 提供直接集成 Jupyter Notebook 的可视化界面,因此可以切入和切出环境、在所选环境中启动 Notebook,甚至是重新配置环境,这一切操作都只需从 Jupyter Notebook 浏览器中单击一下鼠标。我们的分步指南介绍这些集成以及其他 Jupyter Notebook 和教程。


基于 Conda 的新 Deep Learning AMI 附带以下深度学习框架的最新正式版本:


  • Apache MXNet 0.12 及 Gluon

  • TensorFlow 1.4

  • Caffe2 0.8.1

  • PyTorch 0.2

  • CNTK 2.2

  • Theano 0.9

  • Keras 1.2.2 和 Keras 2.0.9


该 AMI 还包括以下用于云端 GPU 加速的库和驱动程序:


  • CUDA 8 和 9

  • cuDNN 6 和 7

  • NCCL 2.0.5 库

  • NVidia Driver 384.81

新 Deep Learning Base AMI

Base AMI 预安装了深度学习基础构建块。包括用于在 Amazon Elastic Compute Cloud (EC2) 实例上加速和扩展机器学习的 NVIDIA CUDA 库、GPU 驱动程序和系统库。将 Base AMI 视为一个从头开始部署您的自定义深度学习环境的基础。


例如,对于致力于开源深度学习框架增强功能、甚至是构建全新深度学习引擎的开发人员来说,Base AMI 提供了一个基础,可安装您自己的自定义配置和代码存储库,以测试新的框架功能。Base AMI 默认随附安装 CUDA 9 环境,不过您也可以使用我们的分步用户指南中介绍的简单的单行命令切换到 CUDA 8 环境。


Base AMI 提供以下 GPU 驱动程序和库:


  • CUDA 8 和 9

  • CuBLAS 8 和 9

  • CuDNN 6 和 7

  • glibc 2.18

  • OpenCV 3.2.0

  • NVIDIA Driver 384.81

  • NCCL 2.0.5

  • Python 2 和 3

包含源代码的 Deep Learning AMI

除了今天推出的两个新 AMI 外,我们继续支持从统一 Python 环境中的源安装所有常见深度学习框架,并且 AMI 中包含这些框架的源代码。如果需要在共享基础环境中试用和比较多个框架,或者需要快速访问 AMI 自身中的源代码以使用一组自定义构建选项重新编译框架,此 AMI 就非常适合。


该 AMI 采用 CUDA 8 和 CUDA 9 版本以满足您要使用 AWS EC2 实例进行深度学习的特定需求。 ****

Deep Learning AMI 备忘单

现在,我们的 AWS Marketplace 提供三种 AWS Deep Learning AMI,支持机器学习从业人员的不同需求。请注意在我们的开发人员指南中查看 AMI 选择指南简单教程以及更多深度学习资源


col 1col 2col 3
基于 Conda 的 AMIBase AMI包含源代码的 AMI
面向需要在单独的虚拟环境中预安装深度学习框架的 pip 软件包的开发人员面向需要从头开始设置私有深度学习引擎存储库或自定义深度学习引擎版本的开发人员面向需要在共享 python 环境中预安装深度学习框架及框架源代码的开发人员


Deep Learning AMI (Ubuntu)


Deep Learning AMI (Amazon Linux) | Deep Learning Base AMI (Ubuntu)


Deep Learning Base AMI (Amazon Linux) | 对于 P3 实例:


包含源代码的 Deep Learning AMI (CUDA 9,Ubuntu)


包含源代码的 Deep Learning AMI (CUDA 9,Amazon Linux)


| | 对于 P2 实例:


包含源代码的 Deep Learning AMI (CUDA 8,Ubuntu)


包含源代码的 Deep Learning AMI (CUDA 8,Amazon Linux)


作者介绍:


Cynthya Peranandam 是 AWS 人工智能解决方案的



首席营销经理,帮助客户使用深度学习来实现业务价值。在闲暇时间,她喜欢跑步和音乐。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/new-aws-deep-learning-amis-for-machine-learning-practitioners/


2019-11-06 08:00749

评论

发布
暂无评论
发现更多内容

美团 Flink 资源调度优化实践

Apache Flink

大数据 flink 实时计算

生成式AI浪潮下,那些不可忽视的安全问题

网安云

AI安全 系统安全 开源治理 软件系统安全

活动回顾丨云原生技术实践营长沙站(含 PPT)

阿里巴巴云原生

阿里云 云原生

5 种 可帮助开发人员提高工作效率的AI 工具

3D建模设计

人工智能

最强远程管理 Royal TSX for Mac激活+补丁教程

胖墩儿不胖y

远程办公 远程软件 Mac软件 远程工具

可观测系统实践:基于海量数据的采集优化方案

博文视点Broadview

深入解析G1垃圾回收器

Java随想录

Java JVM

深入解析ZGC垃圾回收器

Java随想录

Java JVM

百度垂类离线计算系统发展历程

百度Geek说

数据处理 计算引擎 架构优化 企业号 8 月 PK 榜 搜索架构

SRE方法论之减少琐事

不思jo

SRE 运维‘ #运维

01.崩溃捕获设计实践方案

杨充

​ iOS加固保护新思路

iOS 架构RxSwift 重签名

数智化转型背景下的火山引擎大数据技术揭秘

字节跳动数据平台

数据库 大数据 数字化建设 企业号 8 月 PK 榜

Apache RocketMQ 5.0 消息进阶:如何支撑复杂的业务消息场景?

阿里巴巴云原生

Apache 阿里云 RocketMQ 云原生

活动回顾丨阿里云 Serverless 技术实践营 Serverless+AI 专场

阿里巴巴云原生

阿里云 Serverless AI 云原生

WebGpu VS WebGL

3D建模设计

WebGL webgpu

19 个最佳Three.JS 示例

3D建模设计

ThreeJS

数字化转型与架构-架构设计篇|建模之数据模型

数字随行

数字化转型

响应式编程——初识 Flux 和 Mono

java易二三

Java 程序员 计算机 程序

快速测试Mybatis复杂sql,无需启动spring

java易二三

Java 编程 程序员 计算机 科技

深入解析CMS垃圾回收器

Java随想录

Java JVM

R语言之基础绘图

timerring

R 语言

如何实现AI的矢量数据库

3D建模设计

人工智能 机器学习 AI

802.11be-IPQ9574+IPQ9554 802.11ax-IPQ8074+IPQ8072 Support 8 data streams in 4 frequency bands, with a peak rate of 16Gbps

wifi6-yiyi

802.11AX 802.11be

Programming abstractions in C阅读笔记:p132-p137

codists

对线面试官 - MQ之如何保证消息的顺序性及消息积压问题

派大星

MQ Java 面试题

面向机器学习从业人员的新 AWS Deep Learning AMI_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章