写点什么

深度学习的数学(三):神经元工作的数学表示

  • 2020-04-03
  • 本文字数:2643 字

    阅读完需:约 9 分钟

深度学习的数学(三):神经元工作的数学表示

编者按:本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。


前文中用数学式表示了神经元的工作。本节我们试着将其在数学上一般化。

简化神经元的图形

为了更接近神经元的形象,1 - 2 节中将神经元表示为了下图的样子。



然而,为了画出网络,需要画很多的神经元,在这种情况下上面那样的图就不合适了。因此,我们使用如下所示的简化图,这样很容易就能画出大量的神经元。



为了与生物学的神经元区分开来,我们把经过这样简化、抽象化的神经元称为 神经单元(unit)。


注:很多文献直接称为“神经元”。本书为了与生物学术语“神经元”区分,使用“神经单元”这个称呼。另外,也有文献将“神经单元”称为“人工神经元”,但是由于现在也存在生物上的人工神经元,所以本书中也不使用“人工神经元”这个称呼。

激活函数

将神经元的示意图抽象化之后,对于输出信号,我们也对其生物上的限制进行一般化。


根据点火与否,生物学上的神经元的输出 分别取值 1 和 0(下图)。



然而,如果除去“生物”这个条件,这个“0 和 1 的限制”也应该是可以解除的。这时表示点火与否的下式(1 - 2 节式 (3))就需要修正。


点火的式子:


这里, 是单位阶跃函数。我们将该式一般化,如下所示。




这里的函数 是建模者定义的函数,称为 激活函数(activation function)。 是模型允许的任意数值, 是函数 能取到的任意数值。这个式 (2) 就是今后所讲的神经网络的出发点。


注:虽然式 (2) 只考虑了 3 个输入,但这是很容易推广的。另外,式 (1) 使用的单位阶跃函数 在数学上也是激活函数的一种。


请注意,式 (2) 的输出 的取值并不限于 0 和 1,对此并没有简单的解释。一定要用生物学来比喻的话,可以考虑神经单元的“兴奋度”“反应度”“活性度”。


我们来总结一下神经元和神经单元的不同点,如下表所示。


神经元神经单元
输出值 $y$0或1模型允许的任意数值
激活函数单位阶跃函数由分析者给出,其中著名的是 Sigmoid 函数(后述)
输出的解释点火与否神经单元的兴奋度、反应度、活性度



将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2),要确认这样做是否有效,就要看实际做出的模型能否很好地解释现实的数据。实际上,式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。

Sigmoid 函数

激活函数的代表性例子是 Sigmoid 函数 ,其定义如下所示。


关于这个函数,我们会在后面详细讨论(2-1 节)。这里先来看看它的图形,Sigmoid 函数 的输出值是大于 0 小于 1 的任意值。此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。



单位阶跃函数的输出值为 1 或 0,表示点火与否。然而,Sigmoid 函数的输出值大于 0 小于 1,这就有点难以解释了。如果用生物学术语来解释的话,如上文中的表格所示,可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高,接近 0 则表示兴奋度低。



本书中将 Sigmoid 函数作为标准激活函数使用,因为它具有容易计算的漂亮性质。如果用数学上单调递增的可导函数来代替,其原理也是一样的。

偏置

再来看一下激活函数的式 (2)。


这里的 称为阈值,在生物学上是表现神经元特性的值。从直观上讲, 表示神经元的感受能力,如果 值较大,则神经元不容易兴奋(感觉迟钝),而如果值较小,则神经元容易兴奋(敏感)。


然而,式 (2) 中只有 带有负号,这看起来不漂亮。数学不喜欢不漂亮的东西。另外,负号具有容易导致计算错误的缺点,因此,我们将 替换为


经过这样处理,式子变漂亮了,也不容易发生计算错误。这个 称为 偏置(bias)。



本书将式 (4) 作为标准使用。另外,此时的加权输入 (1-2 节)如下所示。


式 (4) 和式 (5) 是今后所讲的神经网络的出发点,非常重要。


另外,生物上的权重 和阈值 )都不是负数,因为负数在自然现象中实际上是不会出现的。然而,在将神经元一般化的神经单元中,是允许出现负数的。


问题 右图是一个神经单元。如图所示,输入 的对应权重是 2,输入 的对应权重是 3,偏置是 -1。根据下表给出的输入,求出加权输入 和输出 。注意这里的激活函数是 Sigmoid 函数。

输入 \boldsymbol{x_1}输入 \boldsymbol{x_2}加权输入 \boldsymbol{z}输出 \boldsymbol{y}
0.20.1
0.60.5

结果如下表所示(式 (3) 中的 e 取 e = 2.7 进行计算)

输入 \boldsymbol{x_1}输入 \boldsymbol{x_2}加权输入 \boldsymbol{z}输出 \boldsymbol{y}
0.20.12×0.2 + 3×0.1 - 1 = -0.30.43
0.60.52×0.6 + 3×0.5 - 1 = 1.70.84


备注 改写式 (5)

我们将式 (5) 像下面这样整理一下。


这里增加了一个虚拟的输入,可以理解为以常数 1 作为输入值(右图)。

于是,加权输入 可以看作下面两个向量的内积。


计算机擅长内积的计算,因此按照这种解释,计算就变容易了。


图书简介http://www.ituring.com.cn/book/2593



相关阅读


深度学习的数学(一):神经网络和深度学习


深度学习的数学(二):神经元工作的数学表示


2020-04-03 10:001388

评论

发布
暂无评论
发现更多内容

视频丨包不同的沙雕敏捷之砸锅卖铁买兰博

华为云开发者联盟

程序员 运维 敏捷 敏捷开发 技术人

该学一学了!零基础入门Docker

程序员的时光

Docker

轻量级BI应用-Superset实践

Jackchang234987

BI 数据产品

2行代码搞定一个定时器!

简爱W

第八周总结

Acker飏

面试官问:僵尸进程和孤儿进程有了解过吗

Java小咖秀

Linux 学习 面试 进程 经验

判断两个链表是否合并

Acker飏

JVM详解之:HotSpot VM中的Intrinsic methods

程序那些事

Java JVM GC

一图看懂华为云DevCloud如何应对敏捷开发的测试挑战

华为云开发者联盟

微服务 敏捷开发 测试 云服务 华为云

判了!中科大博士写游戏外挂赚了12万获刑,被抓才知道帮团队赚了300万……

程序员生活志

游戏开发 游戏 游戏外挂 新闻

【解构系统设计面试】什么是系统设计?以及如何设计一个新鲜事系统?

罗远航

系统设计

使用Spring Validation优雅地校验参数

Java课代表

springboot

Developer 转型记:一个开发平台的“魔力”

华为云开发者联盟

华为 AI 开发者 开发者工具 华为云

架构师培训 -08总结 数据结构算法,网络通信协议,非阻塞网络 I/O,数据库原理

刘敏

架构师训练营week08 作业

GunShotPanda

Java SSM 框架常见面试题

老大哥

Java

知识点梳理:聊聊iOS SDK数据采集那点事儿

易观大数据

单向链表合并算法

走过路过飞过

要都练基本功

架构师

架构师训练营第8周学习总结

TH

架构师训练营week08 学习总结

GunShotPanda

求组队,PK华为HMS全球应用创新大赛!

InfoQ_e92167c73263

android

第8周回顾

慵秋

揭秘淘宝平台广告策略,拆解最佳投放实践

华为云开发者联盟

数据分析 广告 用户增长 淘宝 电商

百万并发「零拷贝」技术系列之经典案例Netty

码农神说

Java Netty 零拷贝

一次线上JVM Young GC调优,搞懂了这么多东西!

南方有乔木兮

Java中的模板设计模式,太实用了!

BUZHIDAO

Java

MySQL的索引基础知识

guoguo 👻

第八周总结

LEAF

信创舆情一线--50多家科技公司源代码泄露

统小信uos

BFC "苦"前端久矣!

coolion

CSS 大前端

深度学习的数学(三):神经元工作的数学表示_AI&大模型_涌井良幸,涌井贞美_InfoQ精选文章