【阿姆斯特丹博士论文】图神经网络的归纳偏差

https://hdl.handle.net/11245.1/c14b7d6a-136c-4e15-af82-d3ad7330add2

图结构表示是一种强大的归纳偏差，适用于自然界中广泛的系统，从分子系统中的原子相互作用到复杂的人类互动（如社交网络）。图神经网络（GNNs）的成功部分归因于其在捕捉这些复杂相互作用方面的广泛适用性。本论文旨在通过引入额外的基于物理的归纳偏差来扩展GNNs的能力。

论文首先通过结合传统的图形推理方法来丰富GNN架构，构建混合模型。这些模型利用传统图形模型中固有的先验知识以及数据驱动学习中的自适应推理。当单独运行时，所得到的算法优于各自的单一方法。

接下来，我们通过创建E(n)等变图神经网络（EGNNs），将归纳偏差作为对称性约束实施到模型中。通过引入欧几里得对称性，EGNNs比标准GNNs在n维欧几里得空间中的数据上具有更好的泛化能力，这一特性在分子数据中尤为重要。随后，我们展示了EGNNs在深度学习分子建模领域的各种应用中的优势。

本工作的最后部分是将欧几里得对称性整合到生成模型中，基于提出的EGNNs构建生成模型。所提出的生成模型显著优于先前的三维分子生成模型，显示出在未来分子建模中具有颠覆潜力。

### 1.1 概述

归纳偏差在机器学习中对于使算法能够从有限的训练数据集推广到新的未见示例至关重要。这些偏差在利用数据中的固有结构或对称性引导学习过程朝向可行的解决方案方面起着关键作用。例如，卷积神经网络（CNNs）（LeCun et al., 1998）展示了平移等变性，使其能够识别视觉场中位置不变的模式。此外，神经网络通常包含一种固有的平滑偏差，假设输入的微小变化会导致输出的微小变化，反映出对其建模数据连续性的预期。这些偏差在神经网络的设计中起着关键作用，并显著影响其学习和泛化能力。

将数据结构化为图（由互连节点组成的集合）是一种在自然界中各个层面上观察到的归纳偏差。在化学的细粒度层面，分子可以被建模为一组相互作用的原子。在生物学中，细胞网络由细胞之间复杂的连接形成。在更大的尺度上，人类互动产生的社交网络也可以被表示为图。甚至更大的混沌系统，如行星系统，或复杂的抽象概念，如知识图谱，也可以结构化为图。

图神经网络（GNNs）（Bruna et al., 2013）利用了图结构数据中的归纳偏差。它们的部分成功归因于其在捕捉图数据中复杂相互作用方面的广泛适用性。然而，类似于其他深度学习架构，GNNs可能需要大量的训练数据才能实现对新观测的稳健泛化。

在许多现实世界系统中，通过利用与系统动态相关的归纳偏差可以实现更好的泛化。本论文中考虑的归纳偏差分为两类：i）近似现实世界系统动态的基于物理的方程；ii）必须严格满足的对称性约束，如分子性质对其取向的不变性。

在论文的第一部分，我们重点介绍了将基于物理的归纳偏差与数据驱动模型相结合。这些物理偏差在图形模型中被结构化，提供了系统的结构表示。示例应用包括跟踪系统中的运动方程或用于建模混沌现象（如天气预报）的微分方程。尽管基于物理近似定义的图形模型对新数据点具有强泛化能力，但它们可能无法捕捉现实世界数据中的所有细节。论文的第一部分旨在利用图形模型的高泛化性和GNNs的高灵活性。为此，我们探索了结合图形推理和数据驱动推理的混合消息传递模型。

在论文的后续部分，我们重点利用在某些环境中必须严格满足的对称性，如对某些欧几里得变换的不变性或等变性。这一原则特别适用于位于三维空间中的数据，如分子数据，具有显著的实际影响潜力。我们首先构建了一个对欧几里得对称性等变的图神经网络，并在一系列判别任务（如分子性质预测）中展示了其有效性。然后，我们基于该网络设计了等变生成模型，在三维分子生成方面显著优于以前的方法，为分子建模和药物发现提供了有前途的方法。

总结来说，本论文探讨了将归纳偏差融入图神经网络，以设计在现实中更为扎实的模型，并有望更好地解决实际应用问题，如用于分子建模的深度学习。

### 1.2 范围和研究问题

**研究问题1**：如何同时利用GNNs的表达能力和图形模型的泛化与数据效率？

图形模型是数据生成过程的结构化表示，但定义图形模型的方程通常只是对真实数据生成过程的粗略近似。生成过程的细微差别存在于数据中，如果有数据可用，我们可以从中学习推断这些细微差别，但纯粹的学习推断可能需要大量数据且缺乏泛化能力。

在第3章和第4章中，我们提出了一个结合图形推理和学习推理的混合消息传递框架，并将其结构化为图神经网络。通过使用交叉验证，我们可以自动平衡图形推理与学习推理的工作量。具体来说，在第3章中，我们提出了一个用于高斯隐马尔可夫模型的混合框架，这类图形模型用于卡尔曼滤波器。通过各种实验，我们证明了该框架比单独运行的学习推理或图形推理更准确地估计轨迹。在第4章中，我们将提出的框架扩展到增强信念传播，这是一种用于推理图形模型的标准算法。

**研究问题2**：如何构建对欧几里得变换等变且高效的图神经网络？

在第5章中，我们引入了E(n)等变图神经网络（EGNNs）。与之前的E(n)等变方法相比，EGNNs不需要计算代价高的高阶表示（如球谐函数），从而显著提高了推理速度，同时仍能达到竞争或更好的性能。此外，虽然现有方法仅限于三维空间上的等变性，但我们提出的模型可以扩展到更高维空间。我们在动态系统建模、图自动编码器中的表示学习和分子性质预测中展示了EGNN的有效性。由于其优势，EGNN已在分子建模的后续工作中得到应用，并且我们进一步利用其设计等变生成模型，以回答下一个研究问题。

**研究问题3**：如何构建E(3)等变生成模型，它们在分子结构生成中提供了哪些进步？

生成模型在图像和文本生成领域取得了显著突破，并且它们是通过分子建模影响药物发现的有希望的候选方法。分子本质上存在于三维空间中，受欧几里得对称性（如旋转和平移）的影响。利用这些对称性可以增强生成模型对分子结构的泛化能力。

在第6章和第7章中，我们基于前一章的EGNN框架开发了两种新型等变生成模型：E(n)等变归一化流（E-NFs）和E(3)等变扩散模型（EDM）。