QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

现代语言学之父乔姆斯基谈深度学习的未来

  • 2020-12-26
  • 本文字数:3363 字

    阅读完需:约 11 分钟

现代语言学之父乔姆斯基谈深度学习的未来

作者自述:过去几周,我一直在和我最喜欢的无政府主义者诺姆·乔姆斯基进行电子邮件交流。我最初联系他是想问他,人工神经网络(ANN)的最新发展是否会促使他重新考虑他著名的语言理论——普遍语法(Universal Grammar)。我们的谈话内容涉及深度学习可能存在的局限性,以及神经网络可以在多大程度上模拟生物大脑,还涉及到了更具哲学性的领域。在这篇文章中,我不会直接引用乔姆斯基教授的话,因为我们的讨论是非正式的,但我将尝试总结其中的要点。


本文最初发布于 Towards Data Science 博客,由 InfoQ 中文站翻译并分享。


乔姆斯基是谁?


乔姆斯基首先是位语言学教授(被许多人称为“现代语言学之父”),但在学术圈之外,他更为知名的身份可能是活动家、哲学家和历史学家。他出版了 100 多本书,并在 2005 年《外交政策与展望》杂志进行的民意调查中被评为世界头号公共知识分子。


郑重声明,我是乔姆斯基作品的崇拜者,尤其是他对美帝国主义、新自由主义和媒体的批评。我们的观点略有分歧的地方在于他对欧洲大陆哲学家(尤其是法国后结构主义者)的驳斥。或许,我在成年早期太过频繁地从福柯、拉康和德里达那里汲取灵感,因此受到了毒害,但我总是发现,乔姆斯基的哲学分析方法在道德上很有吸引力,但有点过于“干净”,对于我们的世界,无法给出令人满意地解释。虽然乔姆斯基对那些后结构主义杰出人物的蔑视显而易见,但他的哲学观点比他的批评者对他的赞扬更加微妙。



普遍语法


我从一开始就声明了,我不是语言学家,但在这一部分,我将试着大概介绍下普遍语法理论。在乔姆斯基之前,语言学中占主导地位的假设是,人类的大脑天生是“白板”(就像一块空白的石板),通过强化获得语言。也就是说,孩子们听到父母说话,他们会模仿他们听到的声音,当他们正确地使用一个单词或构造一个句子时,他们会受到表扬。乔姆斯基的研究表明,强化作用只是其中的一个原因,人类大脑中肯定存在一种与生俱来的结构,这种结构是普遍存在的,能够促进语言学习。他的主要论点是:


  1. 儿童获得语言的速度太快,而且数据太少,无法用强化学习来解释(也被称为“刺激贫乏”)。

  2. 即使在与人类相同的数据面前,动物也无法获得语言。20 世纪 60 年代有一个著名的实验,语言学家试图教一只黑猩猩(名为“尼姆•乔姆斯基”)学习手语,但 10 年后,它仍然无法交流,只能完成一些基本的任务。

  3. 所有人类语言之间都有共性。这表明,即使语言是独立发展的,但在所有人类大脑的共同结构中,仍然存在着普遍性的特征。

  4. 孩子们并不是天生只能学习一种特定的语言。如果你把一个在肯尼亚出生的孩子带到德国长大,他们学习德语就会和德国孩子一样容易。


这种关于基因硬编码语言能力的理论在科学界被广泛接受,但显然,接下来人们会问,“这种普遍语法实际上是什么样子?”很快,勇敢的研究人员就开始着手探索所有人类语言的共同特性,但是,对于我们天生的语言能力是什么形式,目前仍然没有形成共识。可以肯定的是,普遍语法并不包含具体的句法规则,而更可能是一种基本的认知功能。


乔姆斯基假设,在人类历史的某个阶段,人类发展出了一种执行简单递归过程的能力,他称之为“合并(Merge)”,这就是我们在人类语言中看到的句法结构的属性和约束。这有点抽象(太复杂了,一下也说不清楚),但本质上“合并”是将两个对象合并成一个新对象的过程。虽然看似平淡无奇,但在脑海中组合概念并递归地完成这一操作的能力,却强大得令人难以置信,使得我们能够构建“无数种层级结构的表达式”。


这一微小但至关重要的基因飞跃不仅可以解释我们的语言交流能力,还可以(至少是部分地)解释我们的数学天赋和人类创造力。这种大约 10 万年前发生在我们的其中一位祖先身上的“合并”突变,可能是区分人类和其他动物的关键因素之一。

人工神经网络


我联系乔姆斯基教授的主要原因是,我想听听他对人工神经网络(我对这个话题的了解比对语言学的了解多得多)的看法。人工神经网络是机器学习模型的一个子集,它大致地模仿人类大脑,以类似的方式学习(通过大量样本)。这些模型只需要很少的硬编码,并且可以用相对简单的架构执行相当广泛的复杂任务(例如图像标记、语音识别、文本生成)。由谷歌开发的 AlphaGo Zero 模型是这种方法的一个有指导意义的示例,它学会了下围棋(一种复杂且具有挑战性的棋类游戏),最终成为人类世界冠军不可战胜的对手。


最令人印象深刻的是,经过训练后,它能在没有硬编码或人工干预(也就是“白板”)的情况下完成这一切。虽然人工神经网络肯定不是人类大脑的完美类比,但我问乔姆斯基教授,这些模型是否表明,实际上我们不需要硬编码的认知结构来从分散的数据中学习。


乔姆斯基实事求是地指出,ANN 适用于高度专门化的任务,但是这些任务必须受到严格的限制(尽管得益于现代计算机的内存和速度,其适用范围可能会显得很大)。他把人工神经网络比作适用于高层建筑的大型起重机;虽然这两种工具都令人印象深刻,但它们都存在于具有固定边界的系统中。


这一推理思路与我的观察一致,即我所目睹的所有深度学习方面的突破都发生在非常特定的领域,我们似乎没有接近任何类似通用人工智能的东西(不管这意味着什么)。


乔姆斯基还指出,越来越多的证据表明,人工神经网络并不能准确地模拟人类认知,人类认知更丰富,其涉及到的计算系统甚至可以扩展到细胞水平。


如果乔姆斯基是对的(我认为他是正确的),那么深度学习研究可能的发展结果是什么?归根结底,人类的大脑并没有什么神奇之处。它只是一个由原子组成的物理结构,因此,我们完全有理由相信,在未来的某个时候,我们可能能够创造出具有普遍智能的人工版本。也就是说,目前的人工神经网络只是提供了这种认知的一个模拟,根据乔姆斯基的逻辑,如果我们不首先提高自己对有机神经网络运行机制的理解,就不可能到达下一个前沿。

道德相对主义


现代数据科学家担忧的一个突出问题是,如何以合乎道德的方式使用人工智能,但有时,在其他具体的领域中,其边界会比较模糊和主观。乔姆斯基的工作为深度学习的未来提供了独特的技术视角,普遍语法也具有深刻的道德含义,因为语言是我们探讨和解释世界的方式。例如,乔姆斯基的观点是,上述固有的神经结构排除了道德相对主义,而且必须存在普遍的道德约束。


道德相对主义有许多不同的形式,但其核心原则是,道德认定没有客观依据。道德相对主义者称,尽管我们可能深信诸如“奴隶制不道德”这样的说法,但我们没有实用的方法来向持不同意见的人证明这一点,因为任何证据都必然依赖于价值判断,而我们的价值观归根结底是外生的,由文化和经验决定。


乔姆斯基认为,道德根植在大脑中,因此,从定义上讲,道德是一种生物系统。所有的生物系统都会变异(自然地,或是因为不同的刺激),但它们也有局限性。以人类的视觉系统为例:实验表明,视觉系统具有一定的可塑性,并受到经验的影响(尤其是在幼儿时期)。通过改变提供给人类视觉系统的数据,就可以真正地改变感受器的分布,从而改变个体感知水平线和垂直线的方式。


然而,你无法把人类的眼睛变成昆虫的眼睛,或者赋予某人看到 X 射线的能力。乔姆斯基认为,生物系统(包括道德)可以大幅变化,但不是无限的。他接着说,即使你相信我们的道德完全源自文化,你仍然需要以同样的方式获得文化,就像你获得任何体系一样(这归因于与生俱来的普遍存在的认知结构)。


对于这种解读,我最初持保留意见,如果我们假设道德只是“合并”(或同样原始的东西)的结果,那么这可能会带来理论上的局限,而我的直觉是,我们的道德可以变化如此之大,以至于实际上不可能做出普适性的陈述。过去,乔姆斯基讨论过道德进步似乎会遵循某些趋势(例如接受差异、拒绝压迫等等),但我看不出来,这些广泛的趋势在从如此简单的原子认知结构中出现时如何保持一致。


当我向乔姆斯基教授提出这一观点时,他认为这是种错觉,当我们不理解事物时,它们看起来比实际情况更加多样化和复杂。他举了寒武纪大爆发以来动物身体结构变化的例子。仅仅在 60 年前,生物学的主流观点还是,生物体的差异如此巨大,对于其中的每一种,都必须以个体为基础进行研究,但现在我们知道,这是完全错误的,物种之间的遗传变异相当小。在复杂的后天系统中,变异必定很小,否则我们无法获得。


查看英文原文:


https://towardsdatascience.com/noam-chomsky-on-the-future-of-deep-learning-2beb37815a3e


2020-12-26 09:002698
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 286.6 次阅读, 收获喜欢 1303 次。

关注

评论

发布
暂无评论
发现更多内容

用户文章转载:Windows用户都来看看,这个锅P4不背

龙智—DevSecOps解决方案

perforce P4

Flink是如何支持批流一体的

编程江湖

flink

2022年RPA行业发展十大趋势,六千字长文助你看懂RPA

王吉伟频道

RPA 机器人流程自动化 RPAaaS 超自动化 自动化优先

龙智搬迁公告

龙智—DevSecOps解决方案

搬迁

Apache Kylin PMC 马洪宾:开源,就是一场“螺旋上升”的旅程

腾源会

当类的泛型相关时,如何在两个泛型类之间创建类似子类型的关系

阿Q说代码

Java泛型 1月月更 子类型

都2022年了,你的前端工具集应该有vueuse

华为云开发者联盟

Vue 前端 API 工具集 vueuse

前端开发之Vue事件修饰符和按键修饰符

@零度

Vue 前端开发

打造智能全场景,《HarmonyOS Connect系列课》7大BUFF为您助力!

HarmonyOS开发者

高效时代,是时候过渡到自动化测试了

飞算JavaAI开发助手

DevOps 软件开发 自动测试

深入分析JUC之Lock接口

编程江湖

lock锁

Flink,Spark,Storm,Hadoop框架比较

@零度

flink hadoop spark Storm 大数据开发

Bruce Eckel教你如何爬出 Gradle 的“坑”?

图灵社区

java 编程

java开发之Redis数据结构

@零度

redis JAVA开发

60岁代码匠的几篇小作文,解决了大多数程序的迷茫(下)

图灵社区

java 编程

云图说|图解DGC:基于华为智能数据湖解决方案的一体化数据治理平台

华为云开发者联盟

大数据 数据湖 数据治理 数据服务 数据湖治理中心

crontab介绍安装及每秒运行

Owen Zhang

Linux crontab

这8个JS 新功能,你应该去尝试一下

华为云开发者联盟

JavaScript 前端 开发 索引 开发语言

Linux下玩转nginx系列(一)——初识nginx及其使用入门

anyRTC开发者

nginx Linux 音视频 WebRTC 服务器

2022年,你还要做开源软件么?

亚马逊云科技 (Amazon Web Services)

计算

利用物联网技术加速数字化转型

龙智—DevSecOps解决方案

几行代码,把zip文件直接破解

你?

vivo 推送平台架构演进

vivo互联网技术

分布式 架构设计 消息推送 平台搭建、

热烈庆祝龙智高级咨询顾问叶燕秀获得“Atlassian认证专家”称号

龙智—DevSecOps解决方案

Atlassian认证专家 Atlassian认证

60岁代码匠的几篇小作文,解决了大多数程序的迷茫(上)

图灵社区

java 编程

复盘和反思一个被全公司邮件通报的漏测

LynnYang

测试 Postman Mock

深入解析Apache Pulsar系列: Broker消息确认的管理

博文视点Broadview

hi 龙蜥小二来了 ,一键@为你答疑解惑

OpenAnolis小助手

Linux 服务

全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族

OceanBase 数据库

数据库 开源 开发者 OceanBase 社区版 产品发布

AJAX工作原理及其优缺点

编程江湖

LeetCode 每日一题 No.1220 统计元音字母序列的数目

DawnMagnet

rust LeetCode 力扣

现代语言学之父乔姆斯基谈深度学习的未来_AI&大模型_Andrew Kuo_InfoQ精选文章