QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

英特尔开源分布式深度学习平台 Nauta,使用 Kubernetes 和 Docker 平台运行

  • 2019-01-24
  • 本文字数:1813 字

    阅读完需:约 6 分钟

英特尔开源分布式深度学习平台Nauta,使用Kubernetes 和 Docker 平台运行

1 月 24 日,英特尔发表博文宣布开源其分布式深度学习平台 Nauta。Nauta 使用业界领先的 Kubernetes 和 Docker 平台运行,以实现可扩展性和易管理性。


GitHub 开源地址:https://github.com/intelAI/Nauta


随着越来越多的企业探索在业务中使用 AI 来改善商业模式,AI 继续不断发展。根据 Gartner 最近一份报告显示,AI 部署已经产生巨大实际价值,2022 年价值有望达到 4 万亿美元。AI 中的深度学习也获得快速发展,据德勤一份 2018 年地调查显示,有将近 50% 的受访者表示已经采用了深度学习。虽然业务价值持续增长,并且企业对深度学习的兴趣显而易见,但集成、验证和优化深度学习解决方案仍然是一项复杂,有风险且耗时的工作。这就是英特尔使用 Kubernetes 为分布式深度学习引入 Nauta 开源平台的原因。

Nauta 是什么?

Nauta 提供了一个多用户的分布式计算环境,用于运行深度学习模型训练实验。它可以使用命令行界面、Web UI 和/或 TensorBoard 查看和监控实验结果。你可以使用现有数据集,自己的数据或在线下载的数据创建公共或私人文件夹,更轻松地在团队之间进行协作。


Nauta 使用业界领先的 Kubernetes 和 Docker 平台运行,以实现可扩展性和易管理性。为了让创建和运行单节点和多节点深度学习训练实验更简单,该平台兼容各种深度学习框架和工具的模板包(并可自定义),而无需标准容器环境所需的所有系统开销和脚本。


在模型测试中,Nauta 还支持批量和流式推理,所有工作在一个平台上完成。



(图 1:使用 Nauta 训练并部署深度学习网络)

面向开发人员,支持 Kubernetes 和容器化

英特尔在创建 Nauta 工作流程中考虑到了开发人员和数据科学家。Nauta 是一个企业级堆栈,适用于需要进行深度学习模型训练并在生产中部署团队。使用 Nauta,用户可以在单个或多个工作节点上使用 Kubernetes 定义并进行容器化的深度学习实验,并检查这些实验的状态和结果,以进一步调整和运行其他实验,或准备训练模型进行部署。

Nauta 特性

  • Nauta 使用户能够利用来自经验丰富的机器学习开发人员和运营商的共享最佳实践,而不会牺牲灵活性。

  • 在每个抽象级别,开发人员仍然有机会回退到 Kubernetes 并直接使用原语。

  • Nauta 让新手在有保障的情况下进行实验。精心挑选的组件和直观的用户体验减少了对开源 DL 服务的生产准备,配置和互操作性的担忧。

  • 支持多团队成员协作,作业输入和输出可以在团队成员之间共享,并通过启动 TensorBoard 来查看其他人的工作检查点,帮助调试问题。



(图 2:使用 TensorBoard 和 Nauta WebUI 监控作业)

创建指南

2019 年,Nauta 将在 Q1 及更高版本中进行更新,并通过landing page维护开发者社区,鼓励开发人员和数据科学家在他们自己的堆栈上尝试 Nauta。


有关最新的技术信息,包括安装指南,用户文档以及如何参与项目,参见 Github:https://github.com/intelAI/Nauta


构建 Nauta 安装包并在 Google Cloud Platform 上顺利运行,请关注Google云平台上的Nauta 入门


有关构建 Nauta 包的详细信息,参见如何构建指南


快速启动并运行,请查看入门指南


更多信息,请参阅以下文档:


Nauta、Kubeflow Pipeline、Azure Kubernetes、Acumos AI 对比

Nauta 是可以使用 Kubernetes 或 Docker 容器的最新发布工具,这种方法让从业者在通过内部部署服务器还是云端部署 AI 之间进行选择。


11 月,谷歌推出了一个 Kubernetes 工作流程 Kubeflow Pipeline,而微软上个月在公开预览中推出了 Azure Kubernetes 服务。


Kubeflow Pipeline GitHub:https://github.com/kubeflow/pipelines


Kubeflow 是一个使用 Kubeflow Pipelines SDK 构建的可重复使用的端到端 ML 工作流程,致力于使 Kubernetes 上机器学习工作流的部署简单,可移植和可扩展。


Azure Kubernetes:https://azure.microsoft.com/en-us/services/kubernetes-service/


Azure Kubernetes 简化 Kubernetes 管理、部署和运营,使用完全托管的 Kubernetes 容器编排服务。


另外,Linux 基金会的 LF 深度学习基金也于去年秋季推出了用于深度学习的 Acumos AI 平台和开源框架,可以轻松构建、共享和部署 AI 应用程序,标准化了运行开箱即用的通用 AI 环境所需的基础架构堆栈和组件。


参考链接:


https://venturebeat.com/2019/01/23/heartland-tech-weekly-indie-vcs-funding-model-could-be-promising-for-startups-in-middle-america/


https://www.acumos.org/


https://azure.microsoft.com/en-us/services/kubernetes-service/


2019-01-24 12:116139
用户头像

发布了 98 篇内容, 共 65.2 次阅读, 收获喜欢 285 次。

关注

评论 1 条评论

发布
用户头像
kube-batch inside :)
2019-01-26 18:47
回复
没有更多了
发现更多内容

【Flutter 专题】75 图解基本 TabBar 标签导航栏 (一)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

北鲲云超算接入GPUA100,让AlphaFold2轻松使用

北鲲云

仅靠七个步骤,4面通过拿offer,终“跳进”字节跳动

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

模块四作业

俊杰

架构实战营

netty系列之:Event、Handler和Pipeline

程序那些事

Java Netty nio 程序那些事

Vue进阶(十四):config/index.js 配置文件详解

No Silver Bullet

Vue 8月日更 配置文件

十大排序算法--堆排序

Ayue、

排序算法 8月日更

FastApi-07-查询参数校验

Python研究所

FastApi 8月日更

疫情之后,幸获内推,4面京东拿下offer(Java后台研发岗)

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

数据探索

南湖职业技术学院机械狗

软通动力 OpenHarmony 师资培训班隆重开启,聚焦高校教师赋能

开放原子开源基金会

学习总结

青鸟飞鱼

阿里云-云开发平台存储篇——给应用接上后端存储能力

若尘

阿里云 云开发 8月日更

Java 操作 Office:POI之word图片处理

程序员架构进阶

Java 架构 自我提升 实战问题 8月日更

架构实战营-学习总结

泄矢的呼啦圈

架构实战营

Python3 基础语法

Geek_aee0b4

oeasy教您玩转vim - 9 - # 换行插入

o

Vue进阶(十三):MOCK

No Silver Bullet

Vue Mock 8月日更

Python代码阅读(第5篇):根据过滤器拆分列表

Felix

Python 编程 Code Programing 阅读代码

模块四作业:千万级学生管理系统试卷存储方案

Felix

用不了AlphaFold2?北鲲云高性能计算平台解决这个问题

北鲲云

番外2. OpenCV 中摄像头捕获与视频处理与常见问题解决方案

梦想橡皮擦

8月日更

🏆【Java技术之旅】「编译器专题」重塑认识Java编译器的执行过程(消除数组边界检查+公共子表达式)!

码界西柚

Java 编译器 8月日更 JIT编译器

SpringCloud微服务日志经kafka缓冲写入到ELK

Rubble

kafka Spring Cloud ELK 8月日更

花几天时间肝了一个在线制作词云图网站

Python研究者

Python 可视化 词云图 Python JSON 8月日更

一线架构师开发总结:剖析并发编程+JVM性能,深入Tomcat与MySQL

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

oeasy教您玩转vim - 8 - # 追加文本

o

Go并发之CSP并发模型、协程并发

Regan Yue

协程 CSP Go 语言 8月日更

kubernetes入门:harbor个人私有仓库傻瓜式搭建

小鲍侃java

8月日更

模块4作业

青鸟飞鱼

【Vue2.x 源码学习】第二十八篇 - diff算法-问题分析与patch优化

Brave

源码 vue2 8月日更

英特尔开源分布式深度学习平台Nauta,使用Kubernetes 和 Docker 平台运行_AI&大模型_英特尔官博_InfoQ精选文章