AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

深度学习先驱者 Geoffrey Hinton 发布新深度学习算法

  • 2023-01-27
    北京
  • 本文字数:1118 字

    阅读完需:约 4 分钟

深度学习先驱者Geoffrey Hinton发布新深度学习算法

多伦多大学教授兼谷歌大脑工程研究员 Geoffrey Hinton 近期发布的论文中提出了一种神经网络训练技术,前向-前向算法(FF),用两次通过网络的前向数据取代反向传播来更新模型权重。


Hinton 提出该算法旨在解决标准反向传播训练中,需要充分了解前向传递中计算才能在训练时计算导数和存储激活值这一缺陷。算法中所使用的两个前向传播输入数据,分别为一正一负,且具备需要优化的相反目标函数。据 Hinton 称,使用 FF 算法训练的网络不仅可以完成计算机视觉(CV)任务,且效果与使用方向传播训练的网络一样好。


前向-前向算法(FF)在速度上与反向传播速度相当,且在前向计算的具体细节未知时仍可使用。FF 算法的另一优势在于,其可以无需存储神经动态或中断传播误差导数,即可在神经网络传递顺序数据时进行学习……前向-前向算法优于向后传播算法的这两方面,即是大脑皮层中的学习模型,也是不求助于强化学习而以极低功率地进行硬件模拟的方式。


尽管人工神经网络(ANN)是基于大脑的数学模型,但用于训练 ANN 的标准反向传播算法却不是基于任何已知生物过程。除开在生物学上的不可信外,反向传播也有上文中所提及的计算方面缺陷,Hinton 指出,ANN 的强化学习(RL)训练虽然可以不借助反向传播算法,但该方法“在包含数百万乃至数十亿参数的大型网络上扩展性很差”。InfoQ 于 2021 年报道了一种生物学可信且可完全复现反向传播结果的算法,零分化推理学习(Z-IL)。


Hinton 所提出的 FF 算法用两个“以完全相同方式彼此运算”的前向通道替换了反向传播训练中的前向-反向通道,第一个前向通道对训练集中的真实数据进行操作,神经网络根据输入调整权重以增加每一层的优点值(goodness)。第二个前向通道中,网络所使用的数据并非来自训练集,而是生成的负数据,神经网络权重根据该输入减少每层的优点值。


Hinton 通过 FF 算法,在MNISTCIFAR数据集上训练了几种可完成计算机视觉任务的神经网络。这些网络规模相对较小,仅包含二至三个隐藏卷积层,且训练不足百个迭代轮次。在评估训练集上的性能时,FF 算法所训练的网络表现“仅比使用反向传播训练的网络略差”。


Nebuly 的 CTO,Diego Fiori 实现了 Hinton 的算法,并在推特上公开了结果


我将 Hinton 的论文中所提出的两种前向-前向算法分别称作“基础版”和“循环版”,尽管命名如此,基础版反而是性能最好的算法……基础版 FF 算法相较经典方向传播更节约内存,对深度网络而言可节省 45%的内存使用。


Fiori 在 GitHub 上开源了他对FF算法的实现,蒙特利尔大学博士生Mohammad Pezeshki同样在开源了他的FF算法实现版本。


原文链接

Deep Learning Pioneer Geoffrey Hinton Publishes New Deep Learning Algorithm


相关阅读:

十大值得关注的深度学习算法

用AI对抗AI!教代码调戏深度学习算法生成的假视频

2023-01-27 08:005438

评论

发布
暂无评论
发现更多内容

哪个网站的电子书最多?

Jackpop

使用Tuxera NTFS Mac修护移动磁盘:步骤详解

Rose

Tuxera NTFS Mac2022 Tuxera NTFS教程 ntfs

5分钟搞懂5G安全增强

俞凡

5G 安全 网络 通信

如何优雅地使用 Markdown?

Jackpop

QEMU线程模型

Linux内核拾遗

线程模型 Linux Kenel 虚拟化 qemu kvm

保持住你写代码的姿势,你就是黑带了

Bruce Talk

敏捷开发 TDD Agile

css过去及未来展望—分析css演进及排版布局的考量

zhoulujun

CSS

chrome对页面重绘和回流以及优化进行优化

zhoulujun

chrome 重绘 回流

区分List中 remove(index)/remove(Object)

Joseph295

流批一体数据交换引擎 etl-engine

weigeonlyyou

flink 消费 kafka 物联网 数据迁移 Kafka ETL 大数据‘’

失真函数、失真矩阵与平均失真

timerring

信息论

AI日课@20230408:如何基于大模型训练一个自己的数字克隆

无人之路

ChatGPT

Cornerstone for Mac(最好用的SVN管理工具) v4.2永久激活版

Rose

mac软件下载 SVN客户端 cornerstone 4破解 Cornerstone mac版

Vue3 Transition 踩坑记

沉浸式趣谈

踩坑 Vue 踩坑经历 vue cli VUE 3.0 源码解析

MouseBoost for Mac(右键助手)中文版

Rose

mac电脑 MouseBoost for Mac MouseBoost激活版 右键鼠标助手工具

简单好用的文件对比工具:Beyond Compare 4中文版

真大的脸盆

Mac Mac 软件 文件对比 文件对比工具 对比文件

sketch文件导出没有背景色怎么办? sketch背景色消失的解决办法

Rose

sketch Mac Sketch下载 sketch无背景

【异常解决】postman请求提示Full authentication is required to access this resource

No8g攻城狮

测试 Postman

post-css/less/sass样式嵌套与命令之"&"符号—BEM

zhoulujun

less SASS bem post-css

推荐一款优秀电商开源项目

越长大越悲伤

开源 推荐算法 电商 Java'

深度学习基础入门篇[三]:优化策略梯度下降算法:SGD、MBGD、Momentum、Adam、AdamW

汀丶人工智能

人工智能 机器学习 深度学习 梯度下降算法

有哪些 python 的在线练习题或编程挑战的网站?

Jackpop

Django笔记四之字段属性

Hunter熊

Python django model field 字段属性

【Spring专题】「技术原理」从源码角度去深入分析关于Spring的异常处理ExceptionHandler的实现原理

码界西柚

spring 源码分析 4月日更 ExceptionHandler 异常处理器

macOS 13 Ventura (苹果最新系统) v13.3.1正式版

Rose

macOS 13 Ventura 苹果最新系统 Macos13系统

Mac 触控增强神器BetterTouchTool详细图文使用教程

Rose

苹果电脑 BetterTouchTool破解 BetterTouchTool教程 Mac 触控板

SQLChat 的 RBAC 之旅

天黑黑

AI sql 数据库· ChatGPT

深度学习先驱者Geoffrey Hinton发布新深度学习算法_AI&大模型_Anthony Alford_InfoQ精选文章