为什么我们在使用辍学时要缩放输出？
为什么我们在使用辍学时要缩放输出？
提问于 2018-12-09 03:35:24
来自辍学纸：
“其思想是在测试时使用单个神经网络，而不会丢失。这个网络的权重是经过训练的权重的缩小版本。如果一个单元在训练过程中保留概率为p，则该单元的输出权在测试时乘以图2所示的p。这确保了对于任何隐藏单位，预期输出(在训练时用于丢弃单元的分布)与测试时的实际输出相同。”
为什么我们要保持预期的产出？如果我们使用ReLU激活，权重的线性缩放或激活会导致网络输出的线性缩放，而不会对分类精度产生任何影响。
我遗漏了什么？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-12-09 13:34:53
准确地说，我们希望保留的不是“预期输出”，而是输出的期望值，也就是说，我们希望通过保留输出的均值(预期)值来弥补训练(当我们不传递某些节点的值时)和测试阶段的差异。
在ReLU激活的情况下，这种缩放确实会导致输出的线性缩放(当它们是正的)，但是为什么您认为它不会影响分类模型的最终准确性？至少在最后，我们通常应用sigmoid的softmax，它是非线性的，并且依赖于这个尺度。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53689156
复制相关文章
相似问题
腾讯云开发者
