IEEE T CYBERNETICS | 用对抗训练的方法学习图嵌入

作者 | 封扬帆 编辑 | 李仲深

今天给大家介绍莫纳什大学Shirui Pan等人在 IEEE Transactions on Cybernetics上发表的文章“Learning Graph Embedding With Adversarial Training Methods ”。图嵌入的目的是将图转换成向量，以便于后续的图分析任务，如链接预测和图聚类。但是大多数的图嵌入方法忽略了潜码的嵌入分布，这可能导致在许多情况下较差的图表示。本文提出了一个新的对抗正则化图嵌入框架，通过使用图卷积网络作为编码器，将拓扑信息和节点内容嵌入到向量表示中，从向量表示中进一步构建图解码器来重构输入图。对抗训练原则被应用于强制潜码匹配先验高斯分布或均匀分布。实验结果表明可以有效地学习图的嵌入。

作者提出两种基于对抗正则化的图自动编码方法：即对抗正则化图自动编码器（ARGA）和对抗正则化变分图自动编码器（ARVGA），使用图卷积网络作为编码器，以强制潜码匹配先验高斯分布的对抗原则对编码器进行训练。实验证明了算法在链接预测，图聚类和图可视化任务方面大大优于baseline。

一、研究背景

图嵌入是将图数据转换为低维，紧凑且连续的特征空间，关键在于保留拓扑结构，顶点内容以及其他信息，目前，图嵌入方法已经成为解决节点/图分类、点聚类等问题的一个切入点。目前主流的图嵌入方法分为三类：概率模型：DeepWalk，node2vec，LINE；基于矩阵分解的算法：GraRep，HOPE，M-NMF；基于深度学习的算法：SDNE，DNGR。上述的方法通常是非正则化的方法，可能会导致难以处理现实世界中稀疏并且存在噪音误差的图形数据。解决办法是引入正则化方法，使降维的数据可以学习到处理数据中的特征而不只是机械的记忆。

二、模型与方法

作者提出的ARGA框架包括两个部分：上层是图卷积自编码器,采用图A的结构和节点内容X作为输入来学习潜在表示Z，然后从Z重构图结构A,下层是一个对抗网络，通过对抗训练模块强制Z匹配先验分布来来训练区分样本是来自嵌入还是来自先验分布。ARVGA类似于ARGA，除了它在上层使用了一个变分图自动编码器。

图1. ARGA框架结构

2.1 Graph Convolutional Autoencoder

encoder部分与大部分图卷积的选择一致，都是切比雪夫多项式的一阶近似来拟合卷积核进行特征的提取方法：

应用到该架构上就是两层图卷积：

需要注意的是，对于ARVGA还要考虑变分的两个参数，计算公式如下：

decoder部分，是Z与其转置相乘：

ARGA和ARVGA的损失函数：

2.2 Adversarial Model

以上与前人的工作没什么差异。作者提出了一个概念就是强化图嵌入结果对原始信息的包含，也就是说让输出Z尽可能地匹配原始数据，作者希望通过对抗训练模型达到这一目的。

对抗模型建立在标准多层感知器（MLP）上，其中输出层只有一个维度。对抗模型充当区分encoder生成的嵌入表示code是来自原始数据Pz（正）还是来自图编码器 G（X;A）（负）的判别器。通过最小化训练二元分类器的交叉熵代价，最终将在训练过程中对嵌入进行正则化和改进。成本可以计算如下：

整体流程如下：

图2. ARGA流程图

用鉴别器D(Z)训练编码器模型的公式为:

三、实验部分

3.1 datasets

本文使用的基准图数据集为Cora、Citeseer和Pubmed。每个数据集以科学论文为节点，引文关系为边。这些特征是每个文档中唯一的单词。

图3. 文中使用的真实图数据集

3.2 Link Prediction

以AUC（ROC曲线下方的面积大小）和ap（平均正确率）为指标，对链接预测任务的12种算法进行比较，结果如下：

表1. 链接预测的结果

3.3 Node Clustering

首先学习了图的嵌入，然后基于图的嵌入进行K-means聚类。实验比较了基于嵌入的方法和直接用于图聚类的方，为了进行全面的验证，文中对只考虑信息源一个角度（网络结构或节点内容）或同时考虑的算法分别进行了比较。

表2. 节点聚类算法比较

表3. Pubmed数据集上的聚类结果

3.4 ARGA Architectures Comparison

构建了模型的6个版本:ARGA、ARGA_DG和ARGA_AX及其变分版本，同时对每个模型分别进行了先验高斯分布和先验均匀分布的实验，通过实验结果分析分布类型和模型版本的应用情况。

四、总结

在本文中，作者提出了一个新的对抗正则化图嵌入框架，通过使用图卷积网络作为编码器，将拓扑信息和节点内容嵌入到向量表示中，从向量表示中进一步构建图解码器来重构输入图。对抗训练原则被应用于强制潜码匹配先验高斯分布或均匀分布。实验证明了算法在链接预测，图聚类和图可视化任务方面大大优于baseline。

参考文献

https://ieeexplore.ieee.org/document/8822591