更具体地说,在本文中,我们围绕以下两个问题开发了一个理解深层网络的新理论框架:
1. 表征学习的目标:我们应该学习数据的哪些内在结构,以及我们应该如何表征这些结构?...什么是有原则的目标函数来学习这种结构的良好表示,而不是启发式或任意选择? 2. 深度网络的体系结构:我们能从这样一个原则来证明现代深度网络的结构吗?...这一框架不仅为理解和解释现代深层网络提供了新的视角,还提供了新的见解,有可能改变和改进深层网络的实践。...在很大程度上,这项工作将解决这个问题,并揭示一些根本 稀疏编码和深度表示学习之间的关系。
这项工作展示了如何以正向方式构建一个数据依赖的深度卷积网络,从而得到一个直接有利于分类任务的区别性表示。...这一新目标为上述目标提供了统一的观点,如交叉熵、信息瓶颈、压缩和对比学习。我们可以严格地证明,当这个目标被优化时,最终的表示确实具有上面列出的所有期望的属性。