SFFAI分享 | 纪厚业：Heterogeneous Graph Attention Network【附PPT与视频资料】

马上科普尚尚

发布于 2020-05-11 09:19:44

1.6K0

文章被收录于专栏：人工智能前沿讲习人工智能前沿讲习

关注文章公众号回复"SFFAI27"获取PPT资料视频资料可点击下方阅读原文在线观看

作者介绍

纪厚业，北京邮电大学计算机科学与技术专业博士研究生。研究兴趣包括异质图分析，网络表示学习，图神经网络等。

相关论文及代码整理在https://github.com/Jhy1993

纪厚业

导读

图神经网络是近年来图数据挖掘领域的热门研究方向之一，被誉为是新一代深度学习。图神经网络可以将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。以Graph Convolutional Network，Graph Attention Network为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以被自然地建模为异质图（多种类型的节点和边）。如何设计可以处理真实世界图数据的异质图神经网络是一个迫切需要解决的问题。

本次分享将介绍我们在异质图神经网络上的最新工作 Heterogeneous Graph Attention Network（HAN）。我们围绕异质图数据中一些基础性结构（多种类型的节点/边和元路径结构），分别设计了节点级别注意力和语义级别注意力来实现对节点全面且细致的表示：

Node-Level Attention可以学习元路径邻居的重要性并通过聚合操作得到节点表示。
Semantic-Level Attention 可以针对不同任务来学习语义信息的重要性并对语义进行融合。

具体内容介绍

1、首先介绍了常见的图神经网络架构并将其划分为同质图神经网络和异质图神经网络两大类。如18ICLR的Graph Attention Network（GAT）和分享者提出的HAN。GAT的模型架构如下。

2、然后分析介绍了现有GCN的局限性，即：过平滑问题。过平滑问题是指随着模型层数的加深，所学习到的节点表示变得没有区分度。如下图所示：

针对上述问题，已经有很多工作对其进行了理论分析并提出了解法。这里分享者将其划分为两大类：Fuse different order representations explicitly（E.g., 18ICML_JK-Net, 19ICML_MixHop）和Emphasize the low-order information via random-walk（E.g., 19ICLR_PPNP）。

3、最后，分享者介绍其发表在WWW19上的最新工作Heterogeneous Graph Attention Network。相对于现有的工作，HAN最大的特点是可以处理多种不同类型的节点/边并能够融合丰富的语义信息。

模型整体架构如图 2 所示。模型主要分为 3 个模块：

1）节点级别注意力模块。

2）语义级别注意力模块。

3）预测模块。