深度学习: 论网络深度的利弊

利

能以更加紧凑简洁的方式来表达比浅层网络 大得多的 函数集合 。

弊

不好收敛：

1. 更容易过拟合 (即局部最优)。
2. 收敛慢。
3. 梯度问题 (弥散 / 爆炸)。

总结

• 深度神经网络就像一个数学公式。公式越复杂，最高项次数越高，能表达的模型就越复杂，覆盖的值域也就越广。
• But，也越容易陷入过拟合，使得模型性能不增反降。
• So，这个是一个trade-off。

[1] 深层学习为何要“Deep”（上） [2] 深层学习为何要“Deep”（下）