为了加速参数收敛。

梯度消失（vanishing gradient）和爆炸（exploding gradient）

根据深度学习中参数更新，采用梯度下降策略会运用反向传播，而由于深度学习中网络层数肯定不止一层，根据链式求导法则，我们对浅层参数的求导会有一个连乘操作，前面层的梯度是来自于后面层梯度的乘积。

如果网络层中多层的梯度均大于1，穿过多层后求出的梯度更新会以指数形式增加（前面层的更新速度远远快于后面层）就属于梯度爆炸现象；反之如果多层梯度均小于1，前面层的更新速度远低于后面层，更新特缓慢，那么就属于梯度消失现象。

梯度消失和梯度爆炸均会引起训练不稳定。

zero-centered

很多地方会提出希望网络层的输入是zero-centered零均值化的，包括数据预处理我们也通常会讲输入数据进行一个归一化，那么数据以0为中心有什么好处呢？

为了加速参数收敛。

假设我们的网络定义为：梯度消失（vanishing gradient）和爆炸（exploding gradient）

根据深度学习中参数更新，采用梯度下降策略会运用反向传播，而由于深度学习中网络层数肯定不止一层，根据链式求导法则，我们对浅层参数的求导会有一个连乘操作，前面层的梯度是来自于后面层梯度的乘积。

如果网络层中多层的梯度均大于1，穿过多层后求出的梯度更新会以指数形式增加（前面层的更新速度远远快于后面层）就属于梯度爆炸现象；反之如果多层梯度均小于1，前面层的更新速度远低于后面层，更新特缓慢，那么就属于梯度消失现象。

梯度消失和梯度爆炸均会引起训练不稳定。

zero-centered

很多地方会提出希望网络层的输入是zero-centered零均值化的，包括数据预处理我们也通常会讲输入数据进行一个归一化，那么数据以0为中心有什么好处呢？

为了加速参数收敛。

假设我们的网络定义为：梯度消失（vanishing gradient）和爆炸（exploding gradient）

根据深度学习中参数更新，采用梯度下降策略会运用反向传播，而由于深度学习中网络层数肯定不止一层，根据链式求导法则，我们对浅层参数的求导会有一个连乘操作，前面层的梯度是来自于后面层梯度的乘积。

如果网络层中多层的梯度均大于1，穿过多层后求出的梯度更新会以指数形式增加（前面层的更新速度远远快于后面层）就属于梯度爆炸现象；反之如果多层梯度均小于1，前面层的更新速度远低于后面层，更新特缓慢，那么就属于梯度消失现象。

梯度消失和梯度爆炸均会引起训练不稳定。

zero-centered

很多地方会提出希望网络层的输入是zero-centered零均值化的，包括数据预处理我们也通常会讲输入数据进行一个归一化，那么数据以0为中心有什么好处呢？

为了加速参数收敛。

假设我们的网络定义为：