QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

DeepMind 构建了一套模拟想象力的神经网络

  • 2020-02-05
  • 本文字数:2114 字

    阅读完需:约 7 分钟

DeepMind 构建了一套模拟想象力的神经网络

经常有人问我,人工智能有想象力吗?我是怎么回答的呢?现阶段,人工智能可以说是已经具备了一定的想象力,比如基于生成对抗网络(Generative Adversarial Networks,GAN)的各种技术,就能凭空画出实际不存在的、但极为逼真的事物。这可以称为人工智能有想象力吗?我认为可以。今天,DeepMind 为了让人工智能拥有想象力,他们为这一目标做了尝试,让我们看看他们是怎么实现的。想象力并不是关键,关键是自我意识。


为了构建受神经科学启发的架构,DeepMind 创建了一个类似人类思维想象力的模型。


创造出类似人脑认知能力的智能体,一直是人工智能领域中最难以实现的目标之一。最近,我花了一些时间研究几个与深度学习系统中与想象力有关的几个场景,这让我想起了去年 Alphabet 的子公司 DeepMind 发表的一篇关于这一主题的论文,这篇论文的影响力很大。


想象力是人类思维的神奇特征之一,正是有了想象力,我们人类才能够与其他物种区别开来。从神经科学的角度来看,想象力是大脑在没有任何直接的感觉输入的情况下,形成图像或感觉的能力。想象力是我们学习过程中的一个关键因素,因为它使我们能够将知识应用到特定的问题中,并更好地规划未来的结果。当我们在日常生活中执行任务时,为了优化我们的行动,我们会不断地“想象”潜在的结果。这一点儿也不奇怪,因为从认知的角度来看,想象力常常被认为是进行规划的基础。


长期以来,将想象力整合到智能体中,一直是该领域研究人员难以实现的目标。让我们想象一下这样的人工智能程序,它们不仅能够学习新任务,还能规划和推理未来。最近,我们已经看到了一些令人瞩目的研究成果,比如在 AlphaGo 等系统的智能体中添加想象力的方面。去年,他们发表了一篇著名研究论文的最新修订版,该论文概述了实现这一目标的首批神经网络架构之一。


在智能体的背景下,我们该如何定义想象力呢?在 DeepMind 的案例中,他们将想象力增强的智能体定义为包含以下特征的系统:



深度强化学习(Reinforcement learning,RL)通常被认为是想象力增强的智能体的标志,因为它能够试图将观察结果和行为关联起来。但是,深度强化学习系统通常需要大量的训练,训练结果是针对环境中特定任务的知识定制的。DeepMind 的论文提出了一种替代传统模型的方法,即使用通过环境模拟来学习“解释”不完美预测的模型。这一想法是让并行模型使用模拟来提取有用的知识,可用于核心模型。就像我们经常判断一个人(那个家伙没有想象力)一样,我们可以将想象力模型视为深度学习项目的增强能力。

I2A 架构

为了让深度学习智能体能够实现“想象力”,DeepMind 团队依赖于一种 I2A 的智能神经网络架构。I2A 架构的关键元素是一个称为 Imagination Core(想象力核心)的组件,它使用一个环境模型,在给定有关当前环境的信息的情况下,对其未来状态进行预测。给定过去的状态和当前的动作,环境模型可以预测下一个状态和来自环境的任意数量的信号。I2A 架构通过当前的实际观测来初始化想象的轨迹,并随后将模拟的观察结果输入到模型中,在未来的多个时间步骤中 rollout 环境模型。在每次 rollout 中生成的操作有助于定义智能体策略,然后由 Imagination Core 模块使用。


译注:Rollout,在仿真轨迹层面上进行更新学习中,rollout 表示一次试验,一条轨迹。



I2A 架构的关键元素之一是 rollout 编码器,用于负责“解释”Imagination Core 产生的信息,并提取对智能体决策有用的任何信息,甚至在必要时忽略它。

玩仓库番游戏

为了了解 I2A 模型的运行情况,DeepMind 团队创建了一个实现,尝试玩仓库番(Sokoban)游戏。仓库番是一个经典的规划问题,其中智能体必须将许多箱子推到给定的目标位置。因为箱子只能推(而不是拉),所以许多动作是不可逆的,一旦出错,会使游戏无法闯关而失败。因此,人类玩家被迫提前规划走法。想象力增强模型表现出了从不完美的环境(如仓库番)中学习的惊人能力,如以下视频所示:


视频地址:https://v.qq.com/x/page/h3042q70ash.html


译注: 仓库番(Sokoban)是一款经典电子游戏,1982 年由日本 Thinking Rabbit 公司首次发行。之后其他游戏开发者争相制作仿制或衍生作品。致使仓库番成为此类游戏的代名词。游戏要求玩家在二维地图上把箱子推到指定地点,当中牵涉到大量的空间逻辑推理。


DeepMind 团队对照更传统的深度强化技术对 I2A 模型进行了基准测试,结果很是引入注目。I2A 的表现达到了惊人的 85%,远远优于其他策略。



仓库番实验最令人印象深刻的结果之一是,想象力增强的智能体能够在可能不完美的环境模型中想象轨迹,并忽略不准确的信息。考虑到越来越多的场景需要智能体在信息不完善和数据有限的情况下进行操作,这一点尤为重要。


想象力是那些能够为新一代智能体打开大门的关键能力之一。像 I2A 这样的技术,仍然处于非常初级的阶段,但它可以成为增强学习架构的关键组成部分,在这种架构中,智能体不仅能够学习现在,而且还能够“想象”未来。


作者介绍:


Jesus Rodriguez,Invector Labs 首席科学家、执行合伙人。IntoTheBlock 首席技术官。同时具有天使投资人、作家、多家软件公司的董事会成员的身份。


原文链接:


https://towardsdatascience.com/deepmind-builds-neural-networks-that-simulate-imagination-921b31903705


2020-02-05 16:012350
用户头像
赵钰莹 极客邦科技 总编辑

发布了 892 篇内容, 共 664.0 次阅读, 收获喜欢 2689 次。

关注

评论

发布
暂无评论
发现更多内容

柏睿数据再度入选Gartner《中国数据库管理系统市场指南》代表厂商

新消费日报

精准测试探索 | 京东云技术团队

京东科技开发者

测试 精准测试 代码覆盖率 企业号 8 月 PK 榜 静态链路

鲲鹏助力清华大学夺取SolverChallenge2023竞赛冠军

彭飞

用户空间协议栈设计和netmap综合指南

华为云开发者联盟

后端 开发 华为云 华为云开发者联盟 企业号 8 月 PK 榜

《操作系统实战 45 讲》笔记1——引导部分

袁世超

操作系统 Cosmos LMOS

火山引擎VeDI助力零售品牌私域运营 实现与会员高效“沟通”

字节跳动数据平台

大数据 云服务 数据平台 火山引擎 企业号 8 月 PK 榜

一篇让小孩都看的懂的ChatGPT原理解析

小宝

大模型 ChatGPT

户外LED显示屏如何设计散热?

Dylan

设计 环境 LED显示屏 户外LED显示屏 led显示屏厂家

数据库运维是什么意思?主要工作包含哪些?

行云管家

数据库 数据库运维 IT运维

岳阳等保测评机构有几家?在哪里?电话是多少?

行云管家

等级保护 等保测评 岳阳

直播弹幕源码开发很难?一招教你解决

山东布谷网络科技

直播源码

打造自己的站长在线工具箱

echeverra

站长工具

cilium 原理之sock_connect

沃趣科技

数据库 云计算 ebpf cilium 沃趣科技

火山引擎DataTester:AB实验平台未来演进趋势是怎样的?

字节跳动数据平台

大数据 AB实验 对比试验 企业号 8 月 PK 榜 数字化增长

汽车及汽车零部件行业云MES解决方案

万界星空科技

解决方案 MES系统 汽车

银河麒麟高级操作系统V10助力联通云建设打出组合拳

openEuler

Linux 云原生 操作系统 中间件 openEuler

聚焦Web前端安全:最新揭秘漏洞防御方法 | 京东云技术团队

京东科技开发者

WEB安全 漏洞 前端安全 企业号 8 月 PK 榜 XXS

2023 Gartner RPA魔力象限报告解读:国产厂商“破纪录”跃升意味着什么?

王吉伟频道

RPA Gartner RPA魔力象限 超自动化 AI大语言模型

13. Python的文件操作

茶桁

Python 文件操作

亚马逊云科技助力涂鸦智能出海,家庭能源管理系统(HEMS)将成智能家居新沃土

Lily

实践指南-前端性能提升 270% | 京东云技术团队

京东科技开发者

性能优化 前端 企业号 8 月 PK 榜

所谓的职场抗压,到底咋回事

老张

职场经验

对线面试官 - TCP_IP四层网络模型经典连环问

派大星

TCP/IP Java 面试题

小灯塔系列-中小企业数字化转型系列研究——费控测评报告

向量智库

向量检索在大模型应用场景的技术和实践

百度Geek说

人工智能 百度 企业号 8 月 PK 榜

vivo 场景下的 H5无障碍适配实践

vivo互联网技术

前端 H5 移动端适配 无障碍适配 体验提升

第五期(2022-2023)传统行业云原生技术落地调研报告——央国企篇

York

容器 云原生 IT 平台工程 央国企数字化转型

小灯塔系列-中小企业数字化转型系列研究-BPM测评报告

向量智库

那些把爱好当事业的人,最后怎么样了?

最新动态

基于SDK方式的小程序监控

郑州埃文科技

网络性能

产品管理经验分享:删掉 500 个产品待办事项后,我逃离了「假敏捷」

LigaAI

产品经理 敏捷开发 需求管理 产品管理 企业号 8 月 PK 榜

DeepMind 构建了一套模拟想象力的神经网络_AI&大模型_Jesus Rodriguez_InfoQ精选文章