这篇文章[1]主要思想是将 shortcut 用在了神经网络模型中,从而在一定程度上缓解了深度神经网络训不动的问题(即网络深到一定程度反而性能下降)。shortcut 在 202020 年前的神经网络热潮中就被提出来了,作者从新将其用在了深度神经网络中,发现性能很好。
可以看到,加入 shortcut 后,34 层的网络在训练误差和测试误差上都要小于 18 层的网络;而在没有加入 shortcut 时,34 层的网络的误差是要高于 18 层的网络的。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!