SIGIR2023 | 当Transformer遇上图神经网络, 推荐系统新范式GFormer
SIGIR2023 | 当Transformer遇上图神经网络, 推荐系统新范式GFormer
TLDR: 本文针对现有自监督和图神经网络结合的模型局限性，提出了一种能够根据下游任务进行自适应监督信号增强的模型GFormer，同时引入了任务相关性等模块的设计，提升了模型的表达能力和适应性表现。
论文：https://arxiv.org/abs/2306.02330 代码：https://github.com/HKUDS/GFormer 主页：https://sites.google.com/view/chaoh
01、研究背景
图神经网络和自监督方法结合的推荐方法研究如火如荼，一系列基于互信息最大化的对比学习范式的自监督模型被提出，并且取得了不错的效果，如SGL、SimGCL、HCCF等。然而，一个很基础的问题却一直没有得到很好的解答：究竟是什么样的监督信号才应该被保留和增强以最大化模型的效果表现呢？
另外，基于人工设计的增强方案往往难以适应各个场景的推荐任务，有没有一种方案能够自适应的根据下游任务来提取最合适的自监督信号以适应性增强模型的表达能力呢？
为了解决上述问题，我们提出了Graph Transformer for Recommendation (GFormer) 模型，能够自适应的根据不同的场景信息以提取出最重要的监督信号来进行协同过滤信号的增强。具体来说，我们受到Rationale-aware方法和Transformer的启发，通过RA子图发掘方法和self-attention的结合来捕获最重要的RA子图结构，并据此进行下游任务自适应监督信号的效果增强。
总体来说，本文主要做了如下贡献：
- 重新探索了自监督推荐中的SSL增强范式中的数据增强的原理。借此，我们不仅实现了SSL中的自适应数据增强，而且提供了基于自监督信号增强的可解释性原理分析。
- 我们提出了一种通过graph transformer结构来发掘协同关系中可解释性RA子图的发掘方法并同时引入自适应模块来缓解数据偏移带来的负面影响。然后通过图自动编码器来重构重要的用户物品的交互特征。
- 在多个公开数据集上验证了我们的模型相比于现有GNN和自监督方法的优势，如更好的模型表现、噪声抵抗能力等。
02、模型介绍
本文所介绍的GFormer模型，其主要模块包含全局拓扑信息注入层、协同信号RA发掘层以及自监督信号增强模块。GFormer模型的框架图如下所示：
2.1 全局拓扑信息注入层
全局关系信息与GNN的结合的在很多场景下都能发挥不错的效果，受到位置感知GNN方法的启发，我们通过注入高阶信息的依赖来提升模型协同信号的发掘能力。
具体来说，我们首先选出一部分锚点，然后为了捕获全局拓扑信息，我们分别计算图节点相对于锚集的相对位置信息，结合节点和锚点的表征信息来生成全局上下文信息。如此，我们的RA子图发掘模块就可以捕获全局关系并识别出重要的用户商品交互信息以进行SSL数据增强。
2.2 适应性RA子图发掘模块
为了筛选出具有场景适应性的重要交互信息，我们提出了一种自适应的RA子图发掘方法，并以此为基础进行后续选择性的SSL的监督信号增强。这种设计可以使得我们的GFormer模型免收用户噪声行为信息带来的负面影响从而提升模型的表达能力。
具体来说，我们将包含了全局上下文和局部拓扑信息的用户商品表征信息注入到GT模块并通过自适应任务模块的引导来产生场景适应性的用户商品交互评分，并以此来筛选出包含重要交互信息特征的RA拓扑结构子图。同时，为了减少噪声带来的负面影响，我们增加了补图独立性模块的设计，以更好的增加模型的鲁棒性。
2.3 自监督信号增强模块
传统的SSL范式的自监督模型监督信号的增强方案是通过人工设计对比视图，并通过互信息最大化的方法来引入额外的自监督信号，辅助主推荐任务的学习。然而，人工设计的视图缺乏场景适应性，且会引入多余的人工噪声。为了解决这个问题，我们设计了基于MAE框架的监督信号增强方法，跳出了传统SSL增强范式的桎梏。通过适应性重构重要交互信息的方式，较少了无关噪声影响的同时，取得了更好的模型效果。
03、实验结果
我们在多个数据集上进行了对比实验，包括Yelp、Ifashion、LastFm等公开数据集，总体实验效果如下图所示。我们的模型相比于其他自监督、图神经网络的方法都有比较显著的效果提升，同时在噪声的抵抗能力等的测试表现上也有更好的效果。
此外，我们也做了一些关键的示例研究，我们在Yelp数据集上通过反向映射用户id和商品id的方式，查找源数据集中用户对于对应商品的评分、评级等信息。发现我们模型的RA子图的评分和源数据集中用户商品的评价信息具有相当程度的一致性。示例结果展示如下：
图中展示了四个用户对于其交互商品的评分和评论信息，可以看到用户的评分和评价和我们模型学习到的评分具有一定程度的一致性。用户评价较满意的情况下，我们的模型相应交互的评分也较高。而对于编码为3136的用户，尽管他对于商品929比较满意，模型评分却相对较低0.44，其原因是，该用户倾向于对大多数物品评价一个较高的星级。我们统计了他对于所有的交互商品的评分，发现评分是4星和5星较多，占比36/47。这验证了我们模型评分的合理性。
04、结论
我们针对现有自监督和图神经网络结合的模型局限性，提出了一种能够根据下游任务进行自适应监督信号增强的模型GFormer，同时引入了任务相关性等模块的设计，提升了模型的表达能力和适应性表现。
本文探索了自监督数据增强的一个基本问题，通过保留重要交互特征的方式，进行基于MAE框架的适应性增强，达到了SSL增强效果的同时，具有更好的抗噪声能力。在多个数据集的测试结果和示例研究证明了我们模型合理性、有效性和可解释性。