来自辍学纸:
“其思想是在测试时使用单个神经网络,而不会丢失。这个网络的权重是经过训练的权重的缩小版本。如果一个单元在训练过程中保留概率为p,则该单元的输出权在测试时乘以图2所示的p。这确保了对于任何隐藏单位,预期输出(在训练时用于丢弃单元的分布)与测试时的实际输出相同。”
为什么我们要保持预期的产出?如果我们使用ReLU激活,权重的线性缩放或激活会导致网络输出的线性缩放,而不会对分类精度产生任何影响。
我遗漏了什么?
发布于 2018-12-09 05:34:53
准确地说,我们希望保留的不是“预期输出”,而是输出的期望值,也就是说,我们希望通过保留输出的均值(预期)值来弥补训练(当我们不传递某些节点的值时)和测试阶段的差异。
在ReLU激活的情况下,这种缩放确实会导致输出的线性缩放(当它们是正的),但是为什么您认为它不会影响分类模型的最终准确性?至少在最后,我们通常应用sigmoid的softmax,它是非线性的,并且依赖于这个尺度。
https://stackoverflow.com/questions/53689156
复制相似问题