写点什么

Alexa 的研究论文为神经网络优化提供了最佳解决方案

  • 2019-12-01
  • 本文字数:1103 字

    阅读完需:约 4 分钟

Alexa的研究论文为神经网络优化提供了最佳解决方案

亚马逊的Alexa科研人员发表了一篇论文,为神经网络优化提供了理论基础。虽然该文指出,很难通过计算找到一个完美的解决方案,但它提供了一个公式“近似结构搜索问题(a-ASP)”,可以用遗传算法解决。


在最近的一篇博文中,研究工程师 Adrian de Wynter 把神经网络架构选择问题转换成了函数逼近;在这个公式中,函数是输入数据到输出的“真”映射,而近似是通过训练形成的神经网络模型。网络架构的选择通常基于直觉或反复试验,但是 de Wynter 认为,这种“任意选择的神经架构不太可能提供最佳解决方案”。相反,给定一组神经网络组件,如卷积最大池化层,自动优化架构搜索将找到这些组件的组合,以最小的误差逼近函数,而 de Wynter 的工作提供了“计算准确性的理论保证”。他证明了一般架构搜索问题(ASP)难以解决——也就是说,它不能保证在多项式时间内运行完。因此,他针对这个问题提出了一个“宽松”的公式“近似 ASP(a-ASP)”,可以在多项式时间内使用共同进化遗传算法解决。


机器学习系统的自动优化是一个活跃的研究领域。许多主要的云平台都提供AutoML系统,并且提供多个开源选项。大多数 AutoML 解决方案都处理 ML 管道的所有部分,包括数据清理、超参数优化和模型选择。相比之下,de Wynter 的研究主要集中在最佳神经网络模型结构的选择上。虽然一些研究人员使用贝叶斯优化等技术解决了这个问题,但 de Wynter 的论文称,遗传算法“在一般环境中比其他算法表现得更好”。


遗传算法是一种基于生物进化概念“适者生存”的优化技术。每个问题的潜在解决方案都有一个适应度评分,表明它解决问题的程度,以及一个遗传表示。其主要思想是,一个解决方案必须以一种允许随机突变以及与其他解决方案交叉的方式表示。遗传算法运行数代,尝试各种解决方案,应用突变,并保持最适合的结果。在 de Wynter 的公式中,遗传算法搜索神经网络组件的组合,如卷积层,那些组件属于一个组件集,其表现就相当于一个图灵机。遗传算法必须找到这些组件的一个序列,该序列生成的网络最好地近似于所需要的输入数据到输出的映射,但受到最大序列长度的限制。


其他研究团队已经应用遗传或进化算法来优化深度学习系统。谷歌去年发布了开源的AdaNet,这是一个基于TensorFlow的框架,用于基于进化的 AutoML。最近,Uber 开源了EvoGrad,这是一个进化算法的PyTorch库,它将种群视为一个抽象的概率分布。根据 Wynter 的说法:


[M]任何研究人员都得出了这样的结论:共同进化算法为构建机器学习系统提供了最佳途径。但本文提出的函数近似框架为他们提供了直觉上更可靠的理论基础。


原文链接


Alexa Research Paper Shows Genetic Algorithms Offer Best Solution for Neural Network Optimization


2019-12-01 08:001653

评论

发布
暂无评论
发现更多内容

关于分布式系统共识的思考

yuexin_tech

分布式

华为技术专家深度解析Redis惰性删除原理

JavaEdge

12月日更

性能基础之理解Linux系统平均负载和CPU使用率

zuozewei

Linux 性能测试 计算机原理 12月日更

架构训练营 -- 模块四

LJK

#架构训练营

区块链在电动车产业中的角色

CECBC

什么是 DID 身份,为什么需要 DID

Rayjun

区块链 did

微服务划分的思考

无心水

微服务 微服务架构 SpringCloud 注册中心 微服务划分

Reactor模式和Java NIO

Java·课代表

Java reactor 设计模式 网络编程 nio

如何设置Fiddler来拦截Java代码发送的HTTP请求,进行各种问题排查

汪子熙

HTTP fiddler 28天写作 网络抓包 12月日更

一文搞懂ReentrantLock的公平锁和非公平锁

Ayue、

ReentrantLock 公平锁 非公平锁

Linux之whereis命令

入门小站

Linux

DataPipeline正式加入中国信通院数据库应用创新实验室!

DataPipeline数见科技

数据库 中间件 数据融合 数据管理 信通院

学习方法

Tiger

28天写作

元宇宙100讲-0x009

hackstoic

元宇宙

[架构实战营]模块4作业

Vincent

「架构实战营」

全链路压测系列(一):认识全链路压测

老张

性能测试 全链路压测

🍃【Spring专题】「开发实战」Spring Security与JWT实现权限管控以及登录认证指南

洛神灬殇

spring spring security springsecurity 12月日更

Gin-Vue-Admin 使用 gin+vue 进行极速开发的全栈开发基础平台【gva 第二节】

坚果

28天写作 Vue 3 Go 语言 12月日更

Trino应用Iceberg Catalog写入数据原理分析

漫长的白日梦

数据湖 iceberg trino

在线JSON转Go Struct工具

入门小站

工具

MySQL的死锁系列- 锁的类型以及加锁原理

程序员历小冰

MySQL 死锁 28天写作 12月日更

学生管理系统详细架构设计

swallowluo

架构实战营 「架构实战营」

PassJava 开源 (七) :Spring Cloud 整合 OpenFeign 实现声明式远程调用

悟空聊架构

28天写作 passjava 悟空聊架构 12月日更 openfeign

再见 Typora!这个开源的 Markdown 编辑器爱了!

JackTian

程序员 写作 Typora 编辑器 markdown编辑器

给弟弟的信第24封|盲目的努力没有用

大菠萝

28天写作

全链路压测系列(三):技术改造和测试验证

老张

性能测试 全链路压测

语音信号的时域分析

轻口味

28天写作 12月日更

全链路压测系列(二):方案调研和项目立项

老张

性能测试 全链路压测

Linux 命令 man 全知全会

hedzr

Linux less man man-pages

模块八-设计消息队列存储消息数据的 MySQL 表格

deng

架构实战营

微服务架构 | 怎样解决超大附件分片上传?

码农架构

微服务架构 springboot 断点续传 SpringCloud 大文件断点续传

Alexa的研究论文为神经网络优化提供了最佳解决方案_AI&大模型_Anthony Alford_InfoQ精选文章