论文分享 Deep Graph Infomax

论文分享

作者：李彦霖

编辑整理：萝卜兔

本周论文分享一篇来自ICLR 2019 的文章《Deep Graph Infomax》。本文提出了一种基于无监督学习的方式获得图中节点的表示的方法，它通过最大化节点的局部特征和图的全局性特征之间的互信息得到。这种方法不依赖于随机游走策略，学习到的节点表示可以用于进行诸如节点分类等任务，实验证明这种方法在多个节点分类的测试集上达到了与监督学习相当的效果。

Introduction

无监督学习是机器学习的一个重要问题，目前在图结构上进行无监督学习的一个重要方式是随机游走(Random Walk), 尽管这个方法效果还不错，但是也存在一些局限性。比如它的性能严重依赖于超参数的选择，太过注重局部信息而损失了结构信息，以及当使用更“强”的编码器时，如基于图卷积的模型，随机游走究竟提供了多少有用的信息是没有定论的。

Method

本文基于此提出了另一个针对图结构的无监督学习方法，这个方法的基础是互信息。接下来详细看看这个方法的细节。

问题定义

对于一个图，给定节点的特征集合，其中N是节点的个数，表示节点i的特征。节点之间的关系用邻接矩阵表示：，假设研究的对象是无权图，那么当节点i 与 节点 j 之间存在边时，否则。

我们的目标是学习一个编码器，比如, 其中表示节点的high-level 表示，这个特征可以用于其他任务。本文中我们主要关注基于图卷积的编码器，图卷积提取特征是一个重复聚合邻居节点的特征的过程，最后得到的特征。实际上包含了以节点i 为中心的一个子图的信息，即这个特征是局部的(patch representation)。

Local-Global Mutual Information Maximization

我们的目的是要去学习一个编码器，这个是通过最大化局部互信息得到的，也就是去学习节点特征，这个特征除了包含局部特征，还包含整个图的特征(graph-level)，这个全局性的特征称为 summary vector，用表示。

为了得到全局性的特征, 引入readout function：，使用这个函数从局部特征映射得到全局特征，即。

有了局部特征和 整个图的特征，接下来需要考虑如何进行互信息最大化。为了达到这个目的，引入判别器，那么表示一个概率分数，这个分数越高表示对应的patches包含越多的graph-level 信息。

上述方式得到是正样本，对于负样本，通过将与另一个图的特征组合得到。对于单个图，需要一个负样本的采样函数：(corruption function), 这个函数从原始图中采样得到一个新的图，即。

损失函数采用二元交叉熵：

通过优化这个函数，可以最大化和的互信息。上述的整个流程如下图所示：

Classification Performance

作者在3种不同的场景下测试了提出方法的有效性，包括Transductive learning，Inductive learning on large graphs，Inductive learning on multiple graphs，关于三种实验采用的编码器，corruption function等细节，参看论文Sec 4。测试结果如下图，可以看出DGI在多个数据集都取得了很好的结果。

https://arxiv.org/abs/1809.10341

>