动手深度学习：丢弃法

Hello 大家好，之前我们说过用 L2 范数正则化来应对过拟合，今天我们来讲个更简单的：丢弃法。

顾名思义，就是把神经网络中间层的一些结果丢掉，其实有点 0 范数的意思。

原理小究

在神经网络中某一层使用丢弃法时，这层的神经元有一定概率被丢掉。假设我们丢弃的概率为 p，那么这一层任一一个神经元在应用激活函数后，有 p 的概率乘以 0，有 1 - p 的概率除以 1 - p 做一个拉伸。

我们现在来用一个简易的示意图来表示一下使用丢弃法的神经网络。

如上图所示，应用丢弃法的隐含层中，每个神经元都有可能被丢弃，这样输出层每个单元的计算都无法过度依赖隐含层的中的任何一个神经元。因此，丢弃法可以起到正则化的作用，并可以用来应对过拟合。

小结

除了 L2 范数正则化以外，我们还可以选择丢弃法来应对过拟合现象哦。