神经网络参数随机初始化实现

01

—

笔记

前面的视频中讲解了网络训练和实现的很多内容了，这个视频讲解最后一个技巧，随机初始化。

在梯度下降法（或其它更高级的算法）中，我们需要先对用到的参数进行一些初始化，即给定一组初始值，算法才能正常启动。就像钓鱼，有时候为了钓大鱼先要挂个小鱼在钩上当饵。

初始值设为0可以么？

千里之行始于足下，如果用梯度下降法找最好的参数的时候也需要一个起始点，那如果把初始值全部设为0可以么？来看一下。

在逻辑回归的算法中，理论上是可以将参数都设置为0的，但在神经网络中将参数设置为0的话，将起不到任何作用。看一个例子，假设下图这样的一个网络，我们把每个线上的参数都初始化为0.

因为这些权重相等，因此从输入层到隐藏层算得的一系列的神经元上的值都是相等的。对J(\theta)求偏导会怎样呢？求得的也是相等的，这就使得即便梯度在下降，我们隐藏层的两个神经元上的值在迭代的时候依然是相等的。那这个迭代的过程，还有什么意义呢？这样不会让激活函数有什么好的参数的。

怎样随机初始化参数呢？

前面，所有权值都初始化为0（或者说初始化为相同的值）是不合适的，这就是所谓的对称权重问题。

因此，需要对权重进行随机初始化，将每个参数都初始化为某一个闭区间内的随机数。Octave中实现这个事不复杂，如下图E.g.部分的两行代码。

第一行，就是生产一个10*11的矩阵，rand()函数生成的是[0,1]区间上的随机数，然后再乘以一个 再减去一个 ，就会让随机数落在 之间了；第二行类似地生成一个1*11的向量。