【ICLR】四篇好文简读-专题8

一论文题目：

Pre-training Molecular Graph Representation with 3D Geometry

论文摘要：

分子图表示学习是现代药物和材料发现中的一个基本问题。分子图通常由其二维拓扑结构建模，但最近发现，三维几何信息在预测分子性质方面发挥着更重要的作用。然而，现实世界中3D信息的缺乏极大地阻碍了对几何图形表示的学习。为了应对这一挑战，作者提出了多视图预训练（GraphMVP）框架，通过利用二维拓扑结构和三维几何视图之间的对应关系和一致性来进行自监督学习。GraphMVP有效地学习了一个二维分子图编码器，该编码器通过更丰富和更有鉴别力的三维几何结构得到了加强。作者还进一步提供了理论上的见解，以证明GraphMVP的有效性。最后，综合实验表明，GraphMVP能够超越现有的图SSL方法。

论文链接：

https://openreview.net/forum?id=xQUe1pOKPam

二论文题目：

Hypergraph Convolutional Networks via Equivalency between Hypergraphs and Undirected Graphs

论文摘要：

作为建模复杂关系的强大工具，超图在图形学习社区中越来越流行。然而，深度超图学习中常用的算法并不是专门为具有边相关顶点权重（EDVWs）的超图设计的。为了填补这一空白，我们建立了EDVW超图与无向简单图之间的等价条件，这使得我们能够利用现有的无向图神经网络作为子程序来学习由EDVW超图诱导的高阶相互作用。具体地说，我们通过提出一个统一的随机游动框架定义了一个具有顶点权重的广义超图，在此框架下我们给出了广义超图和无向图之间的等价条件。在等价性结果的指导下，我们提出了一种用于深度超图学习的广义超图卷积网络（GHCN）结构。此外，为了改善长程相互作用和缓解过度平滑问题，我们进一步提出了简单超图谱卷积（SHSC）模型，通过从我们的随机游走框架构造折扣马尔可夫扩散核。从社会网络分析、视觉客观分类和蛋白质折叠分类等多个领域进行的大量实验表明，所提出的方法在很大程度上优于最先进的谱域方法。

论文链接：

https://openreview.net/pdf?id=zFyCvjXof60

三论文题目：

Early Stopping in Deep Networks: Double Descent and How to Eliminate it

论文摘要：

过度参数化的模型，如大型深度网络，往往表现出双下降现象，即模型大小的函数和误差先减小，再增大，最后减小。这种有趣的双下降行为也是训练周期的函数，并且由于训练周期控制模型的复杂性而被推测产生。在本文中，我们证明了这种划时代的双世系发生的原因不同:它是由两个或多个偏方差权衡的叠加引起的，这是因为网络的不同部分是在不同的时期学习的，通过适当的步长缩放来缓解这一问题可以显著提高早期停止性能。本文证明了这种epoch-wise双降发生的原因不同:它是由两个或多个偏方差权衡的叠加引起的，它是由两个或多个偏方差权衡的叠加引起的，这是因为网络的不同部分是在不同的时期学习的，通过适当的步长缩放来缓解这一问题可以显著提高早期停止性能。本文对i)线性回归进行了分析，其中不同尺度的特征会导致偏差-方差权衡的叠加; ii)一个广泛的两层神经网络，其中第一层和第二层控制偏差-方差权衡。在此理论的启发下，本文对两个标准卷积网络进行了经验研究，结果表明，通过调整不同层的步长来消除跨时代的双下降，提高了网络的早期停止性能。

论文链接：

https://static.aminer.cn/upload/pdf/1107/1285/1982/5f16cf8691e011b48ae94409_0.pdf

四论文题目：

Transformer protein language models are unsupervised structure learners

论文摘要：

无监督接触预测是揭示蛋白质结构测定和设计的物理、结构和功能约束的中心。几十年来，主要的方法是从一系列相关序列中推断出进化限制。在过去的一年中，蛋白质语言模型作为一种潜在的替代方法出现了，但是在生物信息学方面的性能还没有达到最先进的方法。本文演示了Transformer注意图从非监督语言建模目标学习联系并发现，迄今为止，经过训练的最大容量模型的表现已经超过了最先进的无监督接触预测管道，这表明，这些管道可以用一个端到端模型的单次向前传递来取代。

论文链接：

https://academic.microsoft.com/paper/312010537