【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

AWS Deep Learning Conda AMI 和 Base AMI 入门

  • 2019-11-06
  • 本文字数:1701 字

    阅读完需:约 6 分钟

AWS Deep Learning Conda AMI 和 Base AMI 入门

今天,AWS 宣布发布两个新版本的 AWS Deep Learning AMI:基于 Conda 的 AMI 和 Base AMI。本文介绍有关如何充分利用新 AMI 的说明和其他资源。


带 Conda 托管环境的新 Deep Learning AMI


这些面向 Amazon LinuxUbuntu 的新 Deep Learning AMI 预安装了 Python 环境,用于使用 Conda 这个热门开源软件包和环境管理工具创建的深度学习。Conda 托管 Python 环境针对常见深度学习框架 (包括 Apache MXNet、TensorFlow、Caffe2、PyTorch、Keras、CNTK 和 Theano) 进行了预先配置。此外,每个 Python 环境都有两个版本 – Python 2 和 Python 3。使用 AWS 管理控制台登录 AWS EC2 实例之后,系统会提供一条控制台消息,列出所有 Conda 环境。



您也可以运行以下命令获取此列表:


Bash


conda env list
复制代码


接下来,为所选深度学习框架 (如 MXNet) 激活 Python 环境,运行以下命令:


对于 Python 2


Bash


source activate mxnet_p27
复制代码


对于 Python 3


Bash


source activate mxnet_p36
复制代码


处于 Python 环境之后,可以运行以下命令查看已安装软件包的列表:


Bash


conda list
复制代码


在 Python 环境中运行深度学习代码很简单。首先启动 python shell:


Bash


python
复制代码


然后导入深度学习框架,或以通常的方式运行深度学习 Python 代码:


Bash


import mxnet
复制代码


现在,切换到另一个深度学习框架,如 TensorFlow。首先退出 python shell


Bash


exit()
复制代码


然后取消激活当前 MXNet 环境


Bash


source deactivate
复制代码


然后像前面那样切换到 Python 环境,只是这次要激活的是 TensorFlow:


对于 Python 2


Bash


source activate tensorflow_p27
复制代码


对于 Python 3


Bash


source activate tensorflow_p36
复制代码


要阅读有关管理 Conda 环境的更多信息,可以在获取 Conda 入门指南获得 Conda 命令备忘单和其他学习资源。您还可以访问新 AWS Deep Learning AMI 文档网站,浏览可从命令行直接运行的介绍性教程

从 Jupyter Notebook 界面管理 Conda

您还可以直接从 Jupyter Notebook 浏览器界面管理 Conda 环境。您可以使用我们文档网站上的说明在基于 Conda 的 AMI 上启动 Jupyter Notebook 服务器。Conda 支持通过以下功能与 Jupyter Notebook 紧密集成:

选择深度学习环境

首先从 Internet 浏览器访问 Jupyter 服务器。在主 Files 页面上,可以从下拉列表中选择具有您所选深度学习框架的 Conda 环境,如以下屏幕截图所示。然后可以继续启动新 Notebook。它将自动链接到您所选的 Python 环境。



您还可以使用此页面上的下拉列表切换到具有不同深度学习框架的其他环境。为帮助您开始使用第一个 Notebook,基于 Conda 的 AMI 附带几个 Jupyter Notebook 并且随时可以启动教程

管理环境

打开 Conda 标签页,可以看到 AMI 上 Conda 环境的专用管理页面:



在此页面上,可以浏览所有预安装 Conda 环境的列表、环境内部安装的软件包,甚至可以通过升级软件包或卸载软件包来重新配置环境。

配置新的 Deep Leaning Base AMI

面向 Amazon LinuxUbuntu 的 Base AMI 附带 GPU 驱动程序基础平台,以及可用来部署您自己的自定义深度学习环境的加速库。默认情况下,该 AMI 配置有 NVidia CUDA 9 环境。不过,通过重新配置环境变量 LD_LIBRARY_PATH,您也可以切换到 CUDA 8 环境。您只需将该环境变量字符串的 CUDA 9 部分替换为 CUDA 8 相应的内容。


LD_LIBRARY_PATH 字符串的 CUDA 9 部分 (默认安装)


Bash


…:/usr/local/cuda-9.0/lib64:/usr/local/cuda-9.0/extras/CUPTI/lib64:/lib/nccl/cuda-9:…… LD_LIBRARY_PATH 值的其余部分
复制代码


替换为 CUDA 8


Bash


…:/usr/local/cuda-8.0/lib64:/usr/local/cuda-8.0/extras/CUPTI/lib64:/lib/nccl/cuda-8:…… LD_LIBRARY_PATH 值的其余部分
复制代码

入门

Deep Learning AMI 入门很简单。您可以关注我们的分步博客或访问我们的新 AWS Deep Learning AMI 文档网站开始了解操作方法指南和有用的资源。


作者介绍:


**



Sumit Thakur 是 AWS 深度学习高级产品经理。**他负责开发让客户能够轻松开始在云端进行深度学习的产品,他专注于使 Deep Learning AMI 引擎更易用。在业余时间,他喜欢亲近自然和观看科幻电视剧。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/getting-started-with-the-aws-deep-learning-conda-and-base-amis/


2019-11-06 08:00487

评论

发布
暂无评论
发现更多内容

数据交换不失控:华为云EDS,让你的数据你做主

华为云开发者联盟

云计算 华为云 华为云开发者联盟 企业号 6 月 PK 榜

11个开源项目,5位技术大咖…华为云亮相2023开放原子全球开源峰会

华为云开发者联盟

开源 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

深度分析:企业大数据分析的选型需要关注哪些能力

对不起该用户已成仙‖

精选|Dubbo异步化实践

得物技术

如何在 NGINX 中安全地分发 SSL 私钥

NGINX开源社区

nginx ssl

AI 2.0来袭,AIGC如何重新定义招聘?

用友BIP

AI 招聘

Zilliz Cloud 明星级功能详解|解锁多组织与角色管理功能,让你的权限管理更简单!

Zilliz

SaaS 非结构化数据 Zilliz AIGC zillizcloud

体验超凡速度的美国独立IP虚拟主机服务!

一只扑棱蛾子

美国主机 美国独立IP虚拟主机 美国虚拟主机

数字化驱动,低代码引领:探索数智时代的开发新纪元!

EquatorCoco

低代码 数智化 AIGC

当金融风控遇上人工智能,众安金融的实时特征平台实践

NebulaGraph

人工智能 风险控制 金融风控

一次不规范HTTP请求引发的nginx响应400问题分析与解决

高端章鱼哥

nginx HTTP

企业需要什么样的全面预算管理?

用友BIP

全面预算

C/S UDP通信实践踩坑记录与对于ICMP的进一步认识

这我可不懂

浅显易懂传统开发与低代码开发的区别

互联网工科生

低代码 JNPF 传统开发

有奖问卷 | 2023 中国软件研发效能调查问卷即将截止

CODING DevOps

故障分析 | 从慢日志问题看 MySQL 半一致性读的应用场景

爱可生开源社区

MySQL innodb 事务

8个优秀好用的渠道,帮你找到所想要的资源

高端章鱼哥

技术 分享工具

《数据结构》之栈和堆结构及JVM简析

EquatorCoco

数据结构 教程

跑得更快!华为云GaussDB以出色的性能守护“ERP的心脏”

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

用友BIP全球司库十问之资金结算如何统一管理?

用友BIP

全球司库 资金管理

人脸识别技术的挑战和未来发展

来自四九城儿

人脸识别技术的优缺点及实际应用

来自四九城儿

云原生应用交付平台 Orbit 主要功能与核心能力

CODING DevOps

Orbit gitops 应用管理

人脸识别技术的历史发展及未来趋势

来自四九城儿

人脸识别技术的原理及其应用

来自四九城儿

阿里云顺利通过云原生中间件成熟度评估

阿里巴巴云原生

阿里云 云原生 中间件 成熟度

国产替代,本质是价值替代

用友BIP

升哲科技受邀出席第十四届夏季达沃斯论坛

SENSORO

软件测试/测试开发丨Python内置库学习笔记

测试人

Python 程序员 软件测试 内置库

Flutter卡片分享功能实现:将你的内容分享给世界

编程的平行世界

flutter android

【AI 充电】KServe + Fluid 加速大模型推理

阿里巴巴云原生

阿里云 Kubernetes 云原生

AWS Deep Learning Conda AMI 和 Base AMI 入门_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章