Batch Normalization

1. 背景

先来看看为什么要归一化操作吧。 归一化之前和归一化之后的代价函数示意图，左边的最归一化之前，右边为归一化之后，最中间的点为我们要优化的最优点（图片来自Andrew最新deeplearning.ai改善深层神经网络课程的1.9 Normalizing inputs）。

我们可以看到，在归一化之前，不同的特征的取值范围可能有所不同，这样带来的不好的地方就是在进行梯度下降的时候，学习率不能够设置太大，否则会造成明显波动，导致长时间不能收敛的情况。但是经过归一化之后，无论我们从哪一个位置开始，都能够方便地找到最小值，这样就更加容易优化，从而加速我们的训练过程。

2. Covariate Shift

论文”Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”关于”Covariate Shift”的定义如下：

We define Internal Covariate Shift as the change in the distribution of network activations due to the change in network parameters during training.

稍加解释，即分布的变化。怎么说呢？ 假设我们现在已经使用黑猫的图片训练了一个分类器来识别猫的图片，但现在假如有一些白猫的图片，虽然都是猫，但是因为训练数据并没有白猫的图片，那么分类器大概率识别不出来，这就是分布的变化。也即Covariate Shift问题。 接下来来看看神经网络中的Covariate Shift问题吧。 首先，下图为一个神经网络，为了表示(画图)方便，没有全连接箭头来表示，记住层与层之前都是全连接即可，

接下来仅考虑第三个隐层：

3. Batch Normalization

顾名思义，就是一个归一化的操作。如何做呢？ 首先和归一化输入类似，先标准化：

公式就是这样，让我们从一个神经元来看看它是怎么操作的吧。

4. BN正则化

我们知道神经网络的正则化可以使用dropout和l2 norm，在Ng的神经网络调参课程3.6 Why does BN work 中提到的另外一点就是BN可以看成是这一种正则化。 因为每一次我们使用BN的时候，都仅仅是使用了当前的mini-batch的均值和方差。但是每一个mini-batch肯定会存在一些噪音，这就相当于在训练的时候为每一个隐层单元增加了一些噪音（试想Denoising Autoencoder不就是在训练的时候增加一些噪音来使得训练的模型更加鲁棒吗） 当mini-batch的越大，就相当于看的信息越完整，这个时候的噪音也就越小，正则化的效果也就会降低。

5. 预测阶段的BN

参考资料： 1. Andrew Ng deeplearning.ai深度学习课程 2. Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. 2015:448-456.