神经网络的互联模式和激活函数

经过上一次的学习，大家应该对神经网络的原理、用途、结构有所了解，这一期的小水课堂将带大家了解人工神经网络的连接模式和激活函数种类。

互联模式

神经网络是一个复杂的互连系统，单元之间的互连模式将对网络的性质和功能产生重要影响。互连模式种类繁多，今天主要讲解以下四种互联模式：

✦ 前向网络

✦有反馈的前向网络

✦层内相互结合的前向网络

✦相互结合型网络（包括全互连和部分互连类型）

前向网络（前馈网络）

神经元分层排列，分别组成输入层、中间层(也称隐含层，可以有若干层)和输出层。每一层的神经网络只有接收来自前一层的神经元的输入。后面的层对前面的层没有信号反馈。感知器和误差反向传播算法所采用的网络均属于前向网络类型。

有反馈的前向网络

从输出层对输入层有信息反馈。这种网络可以用来存储某种模式序列，如神经认知机。

层内相互结合的前向网络

层内有相互结合的前向网络。通过层内神经元的相互组合，可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分成若干组，让每组作为一个整体运作。

相互结合型网络（包括全互连和部分互连类型）

这种神经网络任意两个神经元之间都有可能有链接。Hopfield网络和Boltzmann机均属于这种类型。在无反馈的向前网络中，信号一旦通过某个神经元，该神经元的处理过程就结束了。而在相互结合的网络中，信号要在神经元之间反复传递，网络处于一种不断改变的动态之中。从开始某初始状态，经过若干次的变化，才会达到某种平衡状态。根据网络的结构和神经元的特性，网络的运行还可能进入周期振荡或者其他例如混沌等平衡状态。

激活函数

在神经网络中，网络解决问题的能力与效率除了与网络结构有关外，在很大程度上取决于网络所采用的激活函数。激活函数的选择对网络的收敛速度有较大的影响，针对不同的实际问题，激活函数的选择也应不同。

神经元在输入信号作用下产生输出信号的规律由神经元功能函数f（Activation Function）给出，也称激活函数，或称转移函数，这是神经元模型的外特性。它包含了从输入信号到净输入、再到激活值、最终产生输出信号的过程。综合了净输入、f函数的作用。f函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。

常用的激活函数有以下几种形式：

◆阈值函数

◆线性函数

◆Sigmoid函数

阈值函数，阶跃函数是一种特殊的连续时间函数，是一个从0跳变到1的过程，属于奇异函数，当激活函数采用阶跃函数时，人工神经元模型即为MP模型。此时神经元的输出取１或０，反应了神经元的兴奋或抑制。

线性函数，该函数可以在输出结果为任意值时作为输出神经元的激活函数，但是当网络复杂时，线性激活函数大大降低网络的收敛性，故一般较少采用。

S型函数（Sigmoid函数）

S型函数分为对数S型和双曲正切S型函数，对数S型函数的输出介于0~1之间，常被要求为输出在０～１范围的信号选用。它是神经元中使用最为广泛的激活函数。

双曲正切S型函数类似于被平滑的阶跃函数，形状与对数S形函数相同，以原点对称，其输出介于-１~１之间，常常被要求为输出在-１~１范围的信号选用。

其中C为常数

S型曲线反应了神经元的饱和特性。由于其函数连续可导，调节曲线参数可以得到类似的阈值函数的功能，因而广泛应用许多神经元的输出特性。

今天的小水课堂就到这里了，如果想了解更多请继续关注我们~

今日鸡汤：只要愿意学习，就一定能够学会

关注我们，你将变得不一样。