AIGC在金融场景是如何落地的? 了解详情
写点什么

亚马逊开源 Neo-AI 框架,可优化 AI 模型提升部署速度

  • 2019-01-25
  • 本文字数:975 字

    阅读完需:约 3 分钟

亚马逊开源Neo-AI框架,可优化AI模型提升部署速度

在去年于拉斯维加斯举行的 re: create 2018 大会上,亚马逊揭开了 SageMaker Neo 的面纱。这一框架能够方便开发人员训练机器学习模型,并将其部署到任何他们需要的地方,无论是在云端还是在公司内部。它的效果正如广告所宣传的那样,但它的好处必然仅限于 AWS 的客户享有——Neo 完全是一个封闭的、专有的服务。


但是就在本周,情况有所改变。


亚马逊(Amazon)昨日宣布:将根据 Apache 软件许可,发布 Neo 的底层代码,并在 GitHub 上的一个存储库中免费提供。该公司表示,这一举措将有助于在“广泛的”硬件平台上引入“新的和独立的创新”,第三方处理器供应商、设备制造商、深度学习实践者都将因此获益。


开源地址:https://github.com/neo-ai


“通常,为多个硬件平台优化机器学习模型是困难的,因为开发人员需要为每个平台的硬件和软件配置手动调整模型。”AWS 深度学习高级产品经理 Sukwon Kim 和工程主管 Vin Sharma 在一篇博客文章中写道:“这对边缘设备来说尤其具有挑战性,因为它们往往在计算能力和存储方面受到限制……新人工智能减少了在多个平台上部署机器学习模型所需的时间和精力。”


Neo-AI 可兼容一系列机器学习框架,包括 TensorFlow、MXNet、PyTorch、ONNX 和 XGBoost,以及来自英特尔(Intel)、英伟达(Nvidia)和 Arm 的辅助平台(不久将支持 Xilinx、Cadence 和 Qualcomm 等项目)。模型得以优化后不仅能以“两倍于原模型的速度”运行,并且在准确性上“没有损失”,它还可以将模型转换为一种通用格式,从而省去了需要确保给定目标设备上的软件与模型精确匹配的麻烦。


那么它是如何做到这一切的呢?通过使用定制的机器学习编译器和运行时,Amazon 声称这是基于对传统编译器技术的“数十年”研究——包括华盛顿大学的 TVM 和 Treelite。该公司表示,本着合作精神,新的项目将主要由 Arm、英特尔(Intel)、高通(Qualcomm)、Xilinx、Cadence 等公司的贡献推动。


亚马逊表示,处理器供应商可以将定制代码集成到编译器中,以提高模型性能,而设备制造商则可以针对特定的软件和硬件配置定制 Neo-AI 的运行。据了解,这一框架已经部署在 ADLINK、联想(Lenovo)、Leopard Imaging、松下(Panasonic)等公司的设备上。


原文链接


https://venturebeat.com/2019/01/24/amazon-releases-neo-ai-in-open-source-a-framework-for-adapting-machine-learning-models-to-multiple-hardware-platforms/


2019-01-25 11:1312879
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 252.8 次阅读, 收获喜欢 1284 次。

关注

评论

发布
暂无评论
发现更多内容

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(六)

图雀社区

node.js Vue

如何让解决无法访问 GitHub 的问题?

JackTian

GitHub

机器学习算法评估指标——2D 目标跟踪

做技术BP的文案Gou

学习 2D 评估标准

hexo博客系统的实现原理与搭建

音视频专家-李超

Hexo 博客

做一个纸上谈兵的项目经理

escray

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(三)

图雀社区

vue.js Vue Node

白天写代码,晚上摆地摊!9年前摆地摊学会了这些道理...

王磊

MyBatis启动之XMLConfigBuilder解析配置文件(二)

ytao

后端 mybatis

过滤器 和 拦截器 6个区别,别再傻傻分不清了

程序员小富

Java

中台上线半年,我总结出了“七宗罪”

punkboy

中台 企业中台 后台开发 业务中台 后台

ARTS-WEEK02

lee

Android工程架构演进及康威定律

石头

别做误人子弟的「职业导师」

Tony Wu

职业成长 导师 教练

除了公关,我还能为公司做点什么?(系列1)

邓瑞恒Ryan

学习 个人成长 自我管理 成长 职业成长

为什么你成不了「超级个体」?

非著名程序员

程序员 互联网 提升认知 认知提升

csapp-chapter2

卓丁

深入理解计算机系统 csapp

深入理解JVM垃圾回收机制 - 何为垃圾?

SkyeDance

深入理解JVM 垃圾回收机制

游戏夜读 | 网络游戏怎么赚钱?

game1night

多来点胜利,对冲颓丧

zhoo299

成长 备忘

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(五)

图雀社区

Vue Node

重磅推出:第14份年度敏捷状态报告(最新2020)

Bob Jiang

敏捷 调查报告 state of agile

分布式架构,刚性事务-2PC必须注意的问题及3PC详细解

奈学教育

分布式架构 2PC注意事项 3PC详解

从零到部署:用 Vue 和 Express 实现迷你全栈电商应用(四)

图雀社区

Vue Node

csapp-chapter1

卓丁

深入理解计算机系统 csapp

深入理解Java虚拟机

SkyeDance

深入理解JVM

判例学习(一)梨视频诉字节跳动帮助侵权二审判决

Yin

学习 读书笔记 互联网 知识产权 法律

React之Context源码分析与实践

费马

源码分析 React useContext Context React-Router

源码分析 | 像盗墓一样分析Spring是怎么初始化xml并注册bean的

小傅哥

源码分析 小傅哥 spring源码 bean注入过程

centos6.9开机启动服务说明

唯爱

【大厂面试03期】MySQL是怎么解决幻读问题的?

NotFound9

MySQL 数据库 编程 架构

强烈安利第一个画图工具!

我是程序员小贱

高效工作 高效

  • 扫码添加小助手
    领取最新资料包
亚马逊开源Neo-AI框架,可优化AI模型提升部署速度_AI_KYLE WIGGERS_InfoQ精选文章