在最终完全连接的层上需要激活函数(例如sigmoid)。但是为什么在卷积层上也要应用激活函数呢?据我所知,激活函数只需要在最后一层上应用一次。
发布于 2019-02-18 15:54:04
不仅对于卷积神经网络(CNNs),对于DNNs (深度神经网络)和RNNs (递归神经网络),我们在每一层都使用激活函数。Sigmoid (用于二进制分类)、softmax (用于多类分类)或其他类型通常用于最终输出层,每个特定于与预测相比较的标签类型。
然而,其他神经元也需要激活函数,特别是为了非线性目的;最流行的神经元是ReLU (精馏线性单元)、Leaky、tanh、。诸若此类。我们几乎总是对深度学习中的每一个神经元使用激活函数。要获得详细的见解,请看一看:
https://www.youtube.com/watch?v=Xvg00QnyaIY
还特别适用于卷积网:
https://www.youtube.com/watch?v=jPOAS7uCODQ&list=PLkDaE6sCZn6Gl29AoE31iwdVwSG-KnDzF&index=7
希望我能帮上忙,请不要犹豫多问。祝好运!
发布于 2019-02-18 18:52:35
网络的训练类似于将函数拟合到一些标量数据。如果数据是线性的,那么拟合一个线性函数是合适的,并且会很好地工作。
在深度学习的情况下,数据丰富且非线性,因此我们应用非线性激活函数使模型更加复杂。
我们在中间层使用激活函数的另一个原因是,出于优化的原因,将权重和输出值保持在接近0和“有点”的高斯。
https://datascience.stackexchange.com/questions/45762
复制相似问题