飞天发布时刻:2024年 Forrester 公有云平台Wave™评估报告解读 了解详情
写点什么

深度学习的数学(三):神经元工作的数学表示

  • 2020-04-03
  • 本文字数:2643 字

    阅读完需:约 9 分钟

深度学习的数学(三):神经元工作的数学表示

编者按:本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。


前文中用数学式表示了神经元的工作。本节我们试着将其在数学上一般化。

简化神经元的图形

为了更接近神经元的形象,1 - 2 节中将神经元表示为了下图的样子。



然而,为了画出网络,需要画很多的神经元,在这种情况下上面那样的图就不合适了。因此,我们使用如下所示的简化图,这样很容易就能画出大量的神经元。



为了与生物学的神经元区分开来,我们把经过这样简化、抽象化的神经元称为 神经单元(unit)。


注:很多文献直接称为“神经元”。本书为了与生物学术语“神经元”区分,使用“神经单元”这个称呼。另外,也有文献将“神经单元”称为“人工神经元”,但是由于现在也存在生物上的人工神经元,所以本书中也不使用“人工神经元”这个称呼。

激活函数

将神经元的示意图抽象化之后,对于输出信号,我们也对其生物上的限制进行一般化。


根据点火与否,生物学上的神经元的输出 分别取值 1 和 0(下图)。



然而,如果除去“生物”这个条件,这个“0 和 1 的限制”也应该是可以解除的。这时表示点火与否的下式(1 - 2 节式 (3))就需要修正。


点火的式子:


这里, 是单位阶跃函数。我们将该式一般化,如下所示。




这里的函数 是建模者定义的函数,称为 激活函数(activation function)。 是模型允许的任意数值, 是函数 能取到的任意数值。这个式 (2) 就是今后所讲的神经网络的出发点。


注:虽然式 (2) 只考虑了 3 个输入,但这是很容易推广的。另外,式 (1) 使用的单位阶跃函数 在数学上也是激活函数的一种。


请注意,式 (2) 的输出 的取值并不限于 0 和 1,对此并没有简单的解释。一定要用生物学来比喻的话,可以考虑神经单元的“兴奋度”“反应度”“活性度”。


我们来总结一下神经元和神经单元的不同点,如下表所示。


神经元神经单元
输出值 $y$0或1模型允许的任意数值
激活函数单位阶跃函数由分析者给出,其中著名的是 Sigmoid 函数(后述)
输出的解释点火与否神经单元的兴奋度、反应度、活性度



将神经元点火的式 (1) 一般化为神经单元的激活函数式 (2),要确认这样做是否有效,就要看实际做出的模型能否很好地解释现实的数据。实际上,式 (2) 表示的模型在很多模式识别问题中取得了很好的效果。

Sigmoid 函数

激活函数的代表性例子是 Sigmoid 函数 ,其定义如下所示。


关于这个函数,我们会在后面详细讨论(2-1 节)。这里先来看看它的图形,Sigmoid 函数 的输出值是大于 0 小于 1 的任意值。此外,该函数连续、光滑,也就是说可导。这两种性质使得 Sigmoid 函数很容易处理。



单位阶跃函数的输出值为 1 或 0,表示点火与否。然而,Sigmoid 函数的输出值大于 0 小于 1,这就有点难以解释了。如果用生物学术语来解释的话,如上文中的表格所示,可以认为输出值表示神经单元的兴奋度等。输出值接近 1 表示兴奋度高,接近 0 则表示兴奋度低。



本书中将 Sigmoid 函数作为标准激活函数使用,因为它具有容易计算的漂亮性质。如果用数学上单调递增的可导函数来代替,其原理也是一样的。

偏置

再来看一下激活函数的式 (2)。


这里的 称为阈值,在生物学上是表现神经元特性的值。从直观上讲, 表示神经元的感受能力,如果 值较大,则神经元不容易兴奋(感觉迟钝),而如果值较小,则神经元容易兴奋(敏感)。


然而,式 (2) 中只有 带有负号,这看起来不漂亮。数学不喜欢不漂亮的东西。另外,负号具有容易导致计算错误的缺点,因此,我们将 替换为


经过这样处理,式子变漂亮了,也不容易发生计算错误。这个 称为 偏置(bias)。



本书将式 (4) 作为标准使用。另外,此时的加权输入 (1-2 节)如下所示。


式 (4) 和式 (5) 是今后所讲的神经网络的出发点,非常重要。


另外,生物上的权重 和阈值 )都不是负数,因为负数在自然现象中实际上是不会出现的。然而,在将神经元一般化的神经单元中,是允许出现负数的。


问题 右图是一个神经单元。如图所示,输入 的对应权重是 2,输入 的对应权重是 3,偏置是 -1。根据下表给出的输入,求出加权输入 和输出 。注意这里的激活函数是 Sigmoid 函数。

输入 \boldsymbol{x_1}输入 \boldsymbol{x_2}加权输入 \boldsymbol{z}输出 \boldsymbol{y}
0.20.1
0.60.5

结果如下表所示(式 (3) 中的 e 取 e = 2.7 进行计算)

输入 \boldsymbol{x_1}输入 \boldsymbol{x_2}加权输入 \boldsymbol{z}输出 \boldsymbol{y}
0.20.12×0.2 + 3×0.1 - 1 = -0.30.43
0.60.52×0.6 + 3×0.5 - 1 = 1.70.84


备注 改写式 (5)

我们将式 (5) 像下面这样整理一下。


这里增加了一个虚拟的输入,可以理解为以常数 1 作为输入值(右图)。

于是,加权输入 可以看作下面两个向量的内积。


计算机擅长内积的计算,因此按照这种解释,计算就变容易了。


图书简介http://www.ituring.com.cn/book/2593



相关阅读


深度学习的数学(一):神经网络和深度学习


深度学习的数学(二):神经元工作的数学表示


2020-04-03 10:001383

评论

发布
暂无评论
发现更多内容

Linux内核编译很简单,六步编译一个自己的内核

树上有只程序猿

Linux 编译

从可逆计算看DSL的设计要点

canonical

低代码 dsl 低代码平台 领域特定语言 模型驱动

C++ 中的std::array实现编译器排序

芯动大师

前端视角的可观测性(一)

林十二XII

黄东旭:The Future of Database,掀开 TiDB Serverless 的引擎盖

PingCAP

数据库 开源 TiDB pingCAP

低代码开发为什么能长盛不衰?

力软低代码开发平台

java面试-数据库

程序员小张

自定义字体服务 - 基于Node的Web字体解决方案

疯狂紫萧

前端 nodejs 字体

oracle已有表的分表分区优化操作步骤(单表过大)

zhengzai7

oracle 表分区

Java 命令行参数解析方式探索(二):Apache Commons CLI

冰心的小屋

Java 命令行 console Apache Commons CLI

更新合集 | 七月功能上新记

CODING DevOps

16款好用的白板笔记软件推荐,干货整理!

彭宏豪95

效率工具 软件推荐 科技 在线白板 Mac笔记软件

vhdns软件介绍与功能特性

新消费日报

Coral Finance 将为 Zepoch 节点空投,Nautilus生态空投季开启

鳄鱼视界

百度智能云连拿四年第一,为什么要深耕AI公有云市场

脑极体

AI 大模型

关于直播间APP源码的开发,你了解多少?

山东布谷网络科技

1v1交友app开发

AntDB数据库与东方通TongWeb完成兼容互认,共筑数字化底座核心能力

亚信AntDB数据库

数据库 AntDB 企业号 7 月 PK 榜

如何实现高效的动态鉴权

KaiwuDB

KaiwuDB 动态鉴权

微信安全基于 Flink 实时特征开发平台实践

Apache Flink

大数据 flink 实时计算

指标让 AI 更懂业务|Kyligence Copilot 是如何做到的?

Kyligence

Kyligence Copilot 数智助理

大一统真的来了:多模态共享参数的 Meta-Transformer

Zilliz

meta Towhee 多模态大模型

如何确定产品要做什么终端?

Bonaparte

产品 产品设计 产品终端

低代码平台技术分享官丨系统集成系列之领域建模

inBuilder低代码平台

Coral Finance 将为 Zepoch 节点空投,Nautilus生态空投季开启

股市老人

Docker学习路线12:开发者体验

小万哥

Java c++ Go Docker 运维

深度学习的数学(三):神经元工作的数学表示_AI&大模型_涌井良幸,涌井贞美_InfoQ精选文章