Practical aspects of deep learning习题解析

这是[改善深度神经网络]课程第一周的习题，一共10道。

解答：

对于普通规模的机器学习，train/dev/test数据集的划分比例通常为60/20/20，但对于大规模的数据另当别论，本题有一百万数据样本，测试数据集只需一万就足够了，所以划分比例为98/1/1，答案选项2。

解答：

dev和test数据集应该具有相同的分布，答案是选项1。

解答：

避免过拟合的方法是正则化、增加训练数据集，而增加隐藏层单元、增加神经网络深度只会加剧过拟合，增加测试数据既不会增加也不会减少过拟合。

答案是选项1、5

解答：

题中描述的是过拟合，要避免过拟合，可以增加超参数lambda，另外增加训练数据也是一个好方法。使用更大的神经网络只会扩大过拟合。

答案是选项1、3

解答：

所谓权重递减，就是在每次迭代中缩减权重，L2 regularization也叫weight decay。

答案是选项3

解答：

增加超参数lambda将减少权重，可以有效避免过拟合，所以答案是选项1。

解答：

为了保证测试结果不随机，所以在测试阶段不会随机丢弃单元，相应的，也不需要1/keep_prob因子，答案为选项1。

解答：

增加keep_prob，相当于增加了参与激活的单元，这会减弱正则化的效果，会降低训练误差，但会增加测试误差，即增加过拟合。

答案是选项2、4

解答：

减少方差的方法有：扩大数据、随机dropout、L2正则化。Xavler Initialization是为了避免Exploding gradient/Vanishing gradient，加速学习，而梯度检查则是为了保证反向传播实现正确，与减少过拟合无关。

答案是选项2、4、6

解答：

规格化输入是为了加快代价函数的优化，提升学习速度。答案是选项3。