QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

ODE 网络:一场颠覆 RNN 的革命即将到来

  • 2019-03-30
  • 本文字数:1836 字

    阅读完需:约 6 分钟

ODE网络:一场颠覆RNN的革命即将到来

递归神经网络是当今最常见的人工智能应用程序的核心,但我们很快就发现,它们并不适合用来解决广义时间序列问题。现在已经有几个在使用中的替代解决方案,其中有一个是刚刚出现的——ODE 网络,它与我们思考解决方案的方式截然不同。


递归神经网络及其近亲 LSTM 是人工智能自然语言处理应用程序的核心。与其他形式的人工智能相比,RNN-NLP 在现实世界中的应用要多得多,包括使用卷积神经网络识别和处理图像。


从某种意义上说,数据科学家的队伍已经分成了两组,每一组都在追求使用这两种技术开发独立的应用。从应用角度来看,这两种技术基本上不会发生重叠,因为图像处理处理的是静态数据,而 RNN-NLP 是将语音和文本解释为时间序列数据。


虽然 RNN/LSTM 仍然是大多数 NLP 的首选技术,但我们越是试图扩展时间序列应用,遇到的麻烦就越多。即将出现的技术可能不只是 RNN 的修改版本,而是对其他几种创新人工智能方法的硬分支。

第一个分支:将 CNN 与 RNN 组合使用

第一个分支是我们去年提出的将 CNN 和 RNN 结合在一个神经网络中(详见《将CNN与RNN组合使用,天才还是错乱?》)。需要解决的问题与时间序列上的图像有关,即视频,而最常见的任务是视频场景标记。事实证明,这种技术对于识别和标记视频中的情感以及根据之前在视频中见过的人来识别某些类型的人也很有用。

第二个分支:时间卷积神经网络 TCN

去年,谷歌和 Facebook 都解决了 RNN 的第二类问题。因为要分析的数据扩展到 DNN 中的多个层,所以,在开始计算之前必须等待所有这些层都完成。这也意味着 MPP 实际上并不可行。虽然这个过程仍然很快,但不足以快到可以让实时语言翻译应用程序避免明显的延迟。


第二个分支导致这两家公司放弃了 RNN,转而采用一种他们称之为时间卷积神经网络(TCN)的 CNN 变体来进行实时翻译。这看起来很像添加了“Attention”功能的 CNN。因为它们的结构与 CNN 类似,所以可以应用 MPP,于是延迟就消失了。

第三个分支:不规则时间序列

还有一些其他类型的时间序列问题是 RNN 无法完美解决的。它们的主要是具有连续值或者希望将具有不同频率、持续时间和起始点的时间序列数据组合在一起系统。


最后这一个分支看起来并没有那么神秘。它描述的是这样的一种情况,在你去看不同的医生时,你会看到自己的医疗记录,你有不同的预约时间间隔,有不同剂量和时间间隔的用药情况,对这些药品等有不同的身体反应,并且你的身体在以某种可测量的方式变老、变强、变好或变坏。


这就是为什么人工智能的绝大多数医疗应用都只与图像识别有关。我们在使用不规则时序 AI 能力方面确实存在不足,无法很好地基于不规则时间序列数据得出预测结果。


一种解决方案是将并行的医疗记录分为几星期、几天甚至是几小时的离散步骤。理论上,这样可以满足 RNN 所要求的离散化。但问题是,为了获得最大的收益,你必须使用非常合适的时间桶,这样会增加计算成本和复杂性。还有一个问题,那就是很多时间桶可能不包含任何数据。


因此,预测社区和医疗社区都需要一个人工智能解决方案,其性能要优于目前的 RNN。

ODE 网络

去年 12 月在蒙特利尔举行的神经信息处理系统(NIPS)大会上,来自加拿大向量研究所的研究人员提出了人工智能时间序列建模的全新概念,并被评为大会四篇最佳论文之一。


他们的系统的名字叫作“ODE 网络”,是 Ordinary Differential Equation Net(常微分方程网络)的缩写。但不要被误导了,ODE 网络看起来一点也不像 DNN,它没有节点、层或互连。这是一种使用带有反向传播的黑盒微分方程解算器的方法,在连续和离散时间序列问题上都优于 RNN。换句话说,它更像是一个坚实的计算板,而不是可以被可视化为神经网络的东西。


这种方法带来了思维方式上的几个有趣的变化。例如,在使用 RNN 时,你可以指定层和其他超参数,然后运行实验,并查看所获得的准确性。


而在使用 ODE 网络时,在准确性和训练时间之间存在一个权衡。你指定了准确性级别,ODE 网络将会找到实现这一目标的最佳方法,但训练时间是变化的。如果训练时间长得让人无法接受,可以指定一个较低的准确性,以便加快训练过程。一个有趣的结果可能是在训练时指定高准确性,但在测试时可以指定较低的准确性。


这篇论文(https://arxiv.org/abs/1806.07366)的内容非常全面,并提供了几个实验的结果,其中的结果明显优于RNN。但它仍处于研究阶段,但与数据科学中的大多数东西一样,这并不需要很长时间就能走向应用。


英文原文:


https://www.datasciencecentral.com/profiles/blogs/the-coming-revolution-in-recurrent-neural-nets-rnns



2019-03-30 08:004142
用户头像

发布了 38 篇内容, 共 31.9 次阅读, 收获喜欢 208 次。

关注

评论

发布
暂无评论
发现更多内容

区块链技术应用开发、区块链版权应用搭建解决方案

t13823115967

区块链技术应用开发 区块链版权搭建解决方案

MySQL-技术专题-LEFT JOIN避坑指南

码界西柚

物化视图如何快速完成数据聚合操作?

VoltDB

数据库 数据分析 sql

阿里内部11月最新出台Spring Cloud架构设计+程序开发+运维部署

Java架构追梦

Java 阿里巴巴 架构 微服务 SpringCloud

京东智能客服品牌焕新:“言犀”亮相2020京东JDD大会

京东科技开发者

大数据 AI 知识图谱

uml图中各种线的关系

胡云飞

极客大学架构师训练营 UML

接口测试和功能测试的区别

测试人生路

软件测试

架构师训练营 1 期 - 第十周 - 模块分解

三板斧

极客大学架构师训练营

京东千亿订单背后的纵深安全防御体系

京东科技开发者

安全 网络 云服务 云安全

大厂经验:一套Web自动曝光埋点技术方案

阿亮

埋点 曝光埋点 点击埋点 自动化埋点

区块链医疗、电子票据应用落地开发解决方案

t13823115967

电子票据 区块链医疗

以 Kubernetes 为代表的容器技术,已成为云计算的新界面

阿里巴巴云原生

云计算 Kubernetes 容器 云原生

距离 2020 年结束不到2个月,字节跳动员工却在闲鱼卖内推名额登上热搜!

Java架构师迁哥

2020年10月北京BGP机房网络质量评测:流水的其他,铁打的世纪互联?

博睿数据

机房 评测

从数据仓库双集群系统模式探讨,看GaussDB(DWS)的容灾设计

华为云开发者联盟

数据库 数据仓库 数据

2020年9月北京BGP机房网络质量评测:天地祥云木樨园力压群芳终进前三

博睿数据

机房 评测

京东集团技术委员会主席周伯文:推进产业数智化发展需要技术和生态两把“桨”

京东科技开发者

区块链 大数据 AI 物联网,

.net5发布,.NET会就此“支棱起来”吗?

Philips

.net 敏捷开发 .net core

前端高效开发必备的 js 库梳理

徐小夕

Java GitHub 大前端 js

跨语言跨平台聚合OpenAPI文档从来没有这么简单过

Knife4j

微服务 OpenAPI Knife4j Knife4jAggregation

数字化时代App们将何去何从?

FinClip

中小型企业创业的福音

anyRTC开发者

创业 音视频 WebRTC RTC

第十周 模块分解 总结

三板斧

极客大学架构师训练营

「干货总结」程序员必知必会的十大排序算法

bigsai

排序 排序算法 快速排序

五年时间完成业务数字化转型,华为如今做得怎么样了?

华为云开发者联盟

效率 提升 数字化

Mybatis日志功能是如何设计的?

Java架构师迁哥

私域流量运营03|衡量企业运营视频号的4个关键指标

Linkflow

客户数据平台 客户画像 视频号

SpringBoot-技术专题-如何提高吞吐量

码界西柚

MyBatis-技术专题-拦截器原理探究

码界西柚

26张图带你彻底搞懂volatile关键字的底层实现

小牛

volatile 后端 多线程 并发 Java 分布式

从微服务应用于技术栈,了解华为云微服务应用

华为云开发者联盟

微服务 服务 云技术

ODE网络:一场颠覆RNN的革命即将到来_AI&大模型_William Vorhies_InfoQ精选文章