物品的丝绸之路-向社交用户推荐来自信息领域的物品（二）

本周继续给大家介绍跨领域推荐的论文。本篇博客是该系列的第二部分，如果木有阅读

第一部分

的童鞋，欢迎先复习基础知识~~好了，正式开始吧！

解决方案

社交领域的学习

通过使用第一部分提到的神经协同排序方案，可以分别获得针对每个用户和物品、属性相关的表示和。为了预测一个社交用户对信息领域中物品的相似性评分，需要学习社交用户在与信息领域相同潜在空间中的表示。在这里，作者们通过将从桥梁用户传播给社交领域的非桥梁用户表示来实现这个目标。这种表示传播的意图在于：如果两个用户之间的关联比较强（例如，频繁联系的亲密朋友），那么有可能他们对物品的偏好也比较相似，因此，他们在潜在空间也利用有比较相似的偏好。这非常实用于图正则[1][2][3][4]（也被称为：图上的半监督学习），其有两个组件：

（平滑）：平滑约束表明了结构一致性——图中的临近点在他们的表示上差异不应该很大。在我们社交领域学习的上下文中，强制平滑会将一个用户的表示传播给他的邻居用户，当达到一个比较稳定的状态时，所有顶点就应该处于相同的潜在空间了。平滑限制的目标函数限制如下：

其中，表示用户和之间的社交关联，出于归一化的目的，和分别表示用户和的出度。值得注意的是：归一化的使用是与其它论文中[5][6]社交的正则归一化关键性不同，这些论文没有在平滑限制中使用任何归一化。如等人[2]提出的：归一化的使用可以帮助控制受欢迎定点的影响，可以推动更高效的传播。

（训练）：训练的限制表明两个领域之间潜在空间的一致性——桥梁用户的表示应该不变，并且在领域之前作为锚。最后，作者们孤立相同桥梁用户的两个表示应该互相很相似。训练限制的目标函数定义为：

对于每一个桥梁用户，（或者）分别表示其在领域（或信息领域）的表示。因此，训练限制本质上作为桥梁来连接这两个潜在空间。

最后。作者们将平滑限制和训练限制组合起来，获得社交领域学习的目标函数如下：

其中，是一个正向参数，用来控制两个限制之间的均衡。

社交用户的预测：获得了社交用户和物品的表示（即：和）之后，作者就可以将它们放在全连接层，并且利用预测层计算预测得分。最后，作者们可以使用如下公式获得预测的喜好：

训练

本文中，作者们采用了对公式3的可用优化策略，因为它强调了单个领域内的其它特征。在信息领域，作者使用了（，随机梯度下降）的最小批量模式来训练属性相关的和更新相关参数。特别地，作者们首先采样了一批可获得的用户-物品交互并且针对每个采用负采样[7]来随机选取未观察到的物品。然后生成一个三元组。之后，作者们使用一个梯度来优化公式5中的损失函数。这样，作者们获得了用户的增强表示。在中，作者们将桥梁用户的增强表示融入了拉普拉斯图中来更新所有社交用户的表示。最后，可以将的推导进行简化，将用户表示，然后获得近似形式的解决方案：

其中，表示社交用户的嵌入，包括部分桥梁用户表示的更新，和分别表示社交用户的相似性矩阵和对角度矩阵，其中并且。然后，作者们将桥梁用户新跟新的表示作为中桥梁用户的下一个初始化。作者们重复上面的流程来估计模型参数集合。对于公式3中的正则化，作者们没有详细截杀，因为它们使用了神经网络建模中的技术来防止过拟合。

：是用来防止深度神经网络过拟合的一个非常高效的技术。基本思想是在训练过程中随机丢掉部分神经元。这样的话，只有部分模型参数可以推动最后的排序，将会跟新部分参数。在本文的神经跨领域模型中，作者们在成对的（池化）层采用了技术。详细说来，随机扔掉部分的和，其中表示扔掉比例。与池化层一样，作者们也在每个隐层使用了技术。

实验

为了评估提出方法的有效性，作者们组织了实验来回答以下三个问题：

方法是否在新的跨领域社交推荐任务中表现优于其它先进的推荐方法？

不同的超参设置（例如，比例和权衡参数）如何影响？

更深的隐层对于用户-物品交互数据的学习是否更有效，并且能提高的性能？

数据描述

据作者们所示，目前在跨领域社交推荐领域并没有公开的数据集。因此，作者们自己构造了数据集。 将作为信息领域，和作为社交领域。一些统计如下：

表1： 数据集的统计，社交用户集包含桥梁用户：

实验设置

评估原则：给定一个社交用户，每种方为该用户生成一个物品排序。作者们使用了信息检索领域比较流行的两个度量标准来评估喜好排序和推荐的质量。

：(，曲线下面积)评估了推荐系统将正面用户-物品交互排序高于负面的概率：

其中，，分别表示用户的相关物品和不相关物品的集合，是计数函数，如果返回，否则发怒会。后面作者们使用的所有测试用户的平均。

：考虑的是排序列表的前个位置的相关物品。越小的越高的召回表示更优秀的推荐系统，具体定义如下：

其中,表示给定用户的前个排序物品集合。与类似，后面坐着们会展示所有测试用户的平均。

基线：为了验证方法的有效性，作者们还研究了下列方法的性能：

：基于物品的受欢迎程度对物品排序，是一个非个性化的系统

：只利用信息领域中用户-物品交互用于推荐的标准矩阵分解模型

：因子机是一个专为带有额外信息推荐而设计的因子模型，通过使用编码对及用户和物品的属性构建输入特征向量，为了调整对社交关系的建模，作者们还融入了一个用户的朋友到输入特征向量，将这个增强的模型成为（，社交相关因子机）

：这是社交推荐中一个先进的因子方法。它利用了社交关系来正则化朋友的向量，使其相似。为了融合属性到方法中，作者们基于它们的属性集调整了两个用户的相似性度量方法，实现更佳的性能。

参数设置

基于实现提出的框架

使用高斯分布随机初始化模型参数，均值和标准差为和

小批量大小和所有方法的学习参数在以及中检索

使用作为优化器

将基线方法和本文提出的模型分别实验了10遍，取均值

性能比较

表2 所有方法之间的性能比较，当嵌入大小为时

整体比较：表2展示了不同推荐方法在和数据集上的性能比较，所有方法的嵌入大小均为，有如下发现：

的性能最差，表示了用户个性化偏好建模的必要性；糟糕的性能反映了独立性假设并不足够获取到用户-物品交互的非线性、复杂结构

的效果优于其它先进的方法和。作者们还进一步组织了一个样本的，验证了所有的提高均非常大，

的性能不如的性能。这个结果也是合理的，因为中有更多桥梁用户，可以带来中更好的嵌入学习。这个结果也再次验证了桥梁用户的必要性

图1 不同嵌入大小在和上的和性能比较

社交建模的作用：为了分析社交建模的作用，只考虑变式、以及。图1中展示了两个数据集中潜在因子数目对性能影响的结果比较，有如下观察：

和效果最差，因为它们没有考虑中的社交连接，这也强调了跨领域社交推荐中社交建模的必要性

显然，结果明显优于和。就而言，比和分别提高了和。尽管考虑了对社交连接的建模，它只是将这些连接看作是普通的特征，忽略了社交网络的独特特性。相反，和通过高效的社交正则强调了社交建模

最后，相比于也有一定的提高，表明归一化图拉普拉斯的重要性。再一次验证了归一化的图拉普拉斯可以一直朋友的受欢迎性，进一步防止社交建模被受欢迎的用户控制。

图2 不同属性建模在和上的和性能比较

属性建模效果：如图2展示的，作者们还验证了属性建模的影响以及成对池化操作的影响。由于和的糟糕性能，这里就不再介绍了。综合分析所有方法和变式的性能，可以发现：

对于所有方法：对用户、物品建模可以实现极大的提高。通过利用物品属性之间的相似性，丰富了任何量用户之间成对的相似性，可以加强它们之间的连接，同时可以对用户-属性，物品-属性以及属性-属性之间的关联继续建模，从而增强用户-物品之间的交互。受益于成对的池化操作，可以将用户、物品以及属性之间的二阶交互进行编码，推动表示的学习。

随着嵌入大小的变化，作者们发现嵌入越大可能会造成过拟合从而降低性能。特别地，对于和，较优的嵌入大小为和。这表明了嵌入大小的设置可能会影响模型的性能

的研究

在这个子部分，作者们实验性地研究了的收敛，然后有意识地分析了一些因素对框架的影响（例如，率和均衡参数）。

图3 迭代数目、训练损失与推荐性能在和比较

收敛：图3(a)、(b)、(c)中分别展示了每次迭代中和的训练损失及其性能。综合观察这些图表，不难发现：随着迭代次数的增加，的损失逐渐降低，同时性能逐渐提高。这验证了学习框架的合理性。此外，最搞笑的更新发生在前次迭代，这验证了学习框架的高效性。

图4率和均衡在和上的和性能比较

的影响：作者们在中使用了技术来防止过拟合，而不是正则化模型参数，图4(a)、(b)分别展示了在成对池化层中不同率对和的影响。正如我们可以看到的，当率为时，出现了严重的过拟合。此外，当率分别为和时，在和数据集上的效果最好。然而，当值超过优化值之后，性能会降低，因为缺少足够的信息。这强调了使用的必要性。

均衡参数的影响：在社交模型中有一个正参数，可以表示训练正则和归一化图拉普拉斯之间的权衡。图4(c)、(d)分别展示了和的性能。正如我们所见，将在两个数据和上分别设置为和时，可以获得比较优的效果。在最优化配置周围，的性能变化较少，验证了模型对较优配置周围的参数相对来说并不怎么敏感。

隐层的影响

表3中不同隐层的影响

为了获得用户-物品交互之间复杂、非线性的本质结构，作者们在本任务中使用了一个深度神经网络。非常好奇是否会受益于深度架构。由于对每个隐层都调整率在计算上消耗非常高，在这里，作者们简单地对每层使用相同设置。表3展示了两个隐层的（除了嵌入层和预测层之外）的结果，有以下观察：

在大多数情况下，累计更多的隐层对于推荐性能飞航有效，和的效果均优于，其没有隐层，直接将嵌入映射到预测层。作者们将这个提高分析为通过堆积更多的隐层，可以获得豪赌非线性化。再次验证了深度神经网络有强大的泛化能努力。然而，值得注意的是：深度优化可能需要更多的时间进行优化，并且由于数据集大小的限制可能会造成过拟合现象

和提高深度一样，将隐层数的宽度（例如，嵌入大小）从提高到可以极大提高性能。然而，当嵌入大小达到时，的性能会下降，再一次验证了使用更大的嵌入数目会有更强大的表示能力，但是可能损害模型的泛化能力（例如，过拟合）

总结

在本文中，作者们系统地调研了跨领域社交推荐，一个之前很少被研究的实践任务。接着，作者们提出了一个通用的(，神经社交协同排序）解决方案，无缝地集合了信息领域的用户-物品交互以及社交领域用户-用户之间的社交关系。为了验证解决方案，作者们构建了两个真实世界的数据集，组织了扩展性实验来展示方法的高效性和合理性。本工作的主要发现是：即使是来自不同领域的社交网络，社交信号包含关于用户偏好的有用线索。在本方法中，作者们通过利用桥梁用户将两个异构领域的相关信号进行了结合。

当前工作的限制：

在本工作中，只研究了一个基于旅行的信息领域的推荐效果，社交领域只爬取了和，可能会造成跨领域数据集中桥梁用户的数目相对较少。之后，可以试图从一些电子商务网站中获取更多的信息，来探究方法在别的领域的泛化性

由于数据集大小的限制，作者们并没有探究用户的冷启动问题，因为如果提取出部分桥梁用户模拟新用户的话，可能会影响评估的稳定性。如果使用一个更大型的跨领域数据，就可以研究方法对冷启动用户的效果以及桥梁用户比例的影响

此外，作者们还通过只强调社交连接而忽视用户生成内容中用户-物品交互来限制。之后可以通过考虑两个领域中弱用户-交互来提高推荐性能。

参考文献

[1] F. Feng, L. Nie, X. Wang, R. Hong, and T.-S. Chua. Computational social indicators: a case study of chinese university ranking. In SIGIR, 2017.

[2] X. He, T. Chen, M. Kan, and X. Chen. Trirank: Review-aware explainable recommendation by modeling aspects. In CIKM, pages 1661–1670, 2015.

[3] M. Wang, W. Fu, S. Hao, H. Liu, and X. Wu. Learning on big graph: Label inference and regularization with anchor hierarchy. TKDE, 29(5):1101–1114, 2017.

[4] M. Wang, W. Fu, S. Hao, D. Tao, and X. Wu. Scalable semi-supervised learning by efficient anchor graph regularization. TKDE, 28(7):1864–1877, 2016.

[5] H. Ma, D. Zhou, C. Liu, M. R. Lyu, and I. King. Recommender systems with social regularization. In WSDM, pages 287–296, 2011.

[6] Z. Zhao, H. Lu, D. Cai, X. He, and Y. Zhuang. User preference learning for online social recommendation. TKDE, 28(9):2522–2534, 2016.

[7] X. He, L. Liao, H. Zhang, L. Nie, X. Hu, and T.-S. Chua. Neural collaborative ltering. In WWW, pages 173–182, 2016.