0x00 神经网络

人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络（Neural Network，缩写NN），是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

0x01 神经元

一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。

人脑中神经元如图：

0x02 神经元的数学模型

神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。

每个连线上都会分配一个权值，在数据传向下一层的时候要乘以对应的权值。在神经网络中，每个箭头表示值的加权传递。

如果我们将神经元图中的所有变量用符号表示，并且写出输出的计算公式，就会得到：

z是在输入和权值的线性加权和叠加了一个激活函数g的值。在MP模型里，函数g是sgn函数，也就是取符号函数。这个函数当输入大于0时，输出1，否则输出-1。

接下来我们将sum函数与sgn函数合并到一个圆圈里，代表神经元的内部计算。其次，把输入a与输出z写到连接线的左上方，便于后面画复杂的网络。一个神经元可以引出多个代表输出的有向箭头，但值都是一样的。

在其他类型神经网络中，这里的激活函数可以有很多种形式：

• 线性函数

• 阈值函数

• Sigmoid函数

• 对称Sigmoid函数

• 双曲正切函数

• 高斯函数

神经元可以看作一个计算与存储单元。计算是神经元对其的输入进行计算功能。存储是神经元会暂存计算结果，并传递到下一层。

一个神经网络的训练算法的功能就是通过大量的样本数据训练，让权重的值调整到最佳，以使得整个网络的预测效果最好。然后用来在已知所有输入值的情况下预测输出值。

0x03 单层神经网络(感知器)

感知器(Perceptron)由两层神经元组成的神经网络。两层分别是输入层和输出层，输入层只负责传输数据，输出层对前一层传输过来的数据进行计算。

结构如下：

其中，需要计算的层次也被称为计算层，因为感知器拥有一个计算层，所以称之为“单层神经网络”。

感知器中，我们把 w 称为权重向量，a 称为训练样本。

感知器数据分类的算法步骤如下：

把 w 初始化为 0，或者把 w 的每个分量初始化为[0, 1]之间的任意小数；
把训练样本 a 输入感知器，得到分类结果 z （-1或1）；
根据分类结果更新权重向量。

权重更新算法：

wj=wj+∇wj

∇wj=η∗(z−z′)∗aj

其中

• η 是学习率，在 [0,1] 之间。
• z 是输入样本的正确分类，z’ 是感知器计算出来的分类。

假设初始w=[0,0,0],a=[1,2,3]，z=1，z’=-1时，通过算法计算：

∇w0=0.3∗(1−(−1))∗x0=0.3∗2∗1=0.6

w0=w0+∇w0=0.6

∇w1=0.3∗(1−(−1))∗x1=0.3∗2∗2=1.2

w1=w1+∇w1=1.2

∇w2=0.3∗(1−(−1))∗x2=0.3∗2∗3=1.8

w2=w2+∇w2=1.8

得到更新后的w=[0.6,1.2,1.8]

我们在输入大量样本时，每次在答案正确时不会更改，每次在答案错误时更新权值，只要取的学习率和样本量合适，就可以得到学习之后更为精准的算法。

我们可以看到，感知器类似一个逻辑回归模型，可以做线性分类任务。

我们可以用决策分界来形象的表达分类的效果。决策分界就是在二维的数据平面中划出一条直线，当数据的维度是3维的时候，就是划出一个平面，当数据的维度是n维时，就是划出一个n-1维的超平面。

0x04 两层神经网络(多层感知器)

两层神经网络也就是多了一层计算层(被称为隐藏层)，在增加了这一层之后，神经网络就可以解决一些复杂的问题。

此时，权值矩阵增加到两个，计算层数分为隐藏层计算和输出层计算。

不过不同于单层的sgn函数，在两层神经网络中，我们使用的激活函数最多的是sigmoid函数。

隐藏层计算如图：

输出层计算如图：

总的计算公式：

g(W(1) * a(1)) = a(2);

g(W(2) * a(2)) = z;

与单层神经网络不同。理论证明，两层神经网络可以无限逼近任意连续函数。也就是说，面对复杂的非线性分类任务，两层（带一个隐藏层）神经网络可以分类的很好。

如下例，红色的线与蓝色的线代表数据。而红色区域和蓝色区域代表由神经网络划开的区域，两者的分界线就是决策分界。

0x05 多层神经网络

延续两层神经网络,在两层神经网络的输出层后面，继续添加层次。原来的输出层变成中间层，新加的层次成为新的输出层。我们这样依次添加，就会产生多层神经网络。

增加了层数，那么正向传播计算公式也会增加一步

g(W(1) * a(1)) = a(2);

g(W(2) * a(2)) = a(3);

g(W(3) * a(3)) = z;

再增加层数的话，与上面同理递推即可：

g(W(1) * a(1)) = a(2);

g(W(2) * a(2)) = a(3);

···

g(w(n-1) * a(n-1)) = a(n);

g(W(n) * a(n)) = z;

随着网络的层数增加，每一层对于前一层次的抽象表示更深入。代表着更深入的表示特征，以及更强的函数模拟能力。在参数数量一样的情况下，更深的网络往往具有比浅层的网络更好的识别效率。

相比于单层神经网络的sgn函数和双层神经网络的sigmoid函数，到了多层神经网络时，通过一系列的研究发现，ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。

ReLU函数不是传统的非线性函数，而是分段线性函数。其表达式非常简单，就是y=max(x,0)。简而言之，在x大于0，输出就是输入，而在x小于0时，输出就保持为0。这种函数的设计启发来自于生物神经元对于激励的线性响应，以及当低于某个阈值后就不再响应的模拟。