F-GNN的新型检测框架：随机森林增强图神经网络

社交机器人在社交媒体上的大量存在导致了诸多问题，如散布虚假信息、操纵选举等。有效检测社交机器人对于保护用户利益和确保平台稳定运行至关重要。传统的机器学习方法如随机森林在社交机器人检测中表现出色，但未能充分利用账户间的交互信息。

一、研究方法

本文提出了一种名为RF-GNN的新型检测框架，即随机森林增强图神经网络。这种方法将图神经网络（GNN）作为基分类器，构建随机森林，有效结合了集成学习和GNN的优势，以提高模型的准确性和鲁棒性。

二、模型分析

模型结构

RF-GNN框架：由子图构建模块、对齐机制和模型集成模块组成，如图所示：

image.png

• 子图构建：通过节点采样、特征选择和边丢弃来创建不同的训练集。
  

  image.png
• 对齐机制：使用GNN基分类器和全连接神经网络（FCN）的输出，通过Hadamard积对齐，便于GNN和FCN之间的输出，增强了模型的性能和稳定性。
• 模型集成：通过集成多个基分类器的输出来获得最终分类结果。

三、实验步骤

3.1 数据集 (Datasets)

• Cresci-15: 包含5,301个用户，标记为真实账户或自动化账户。提供关注者和好友关系信息。
• Twibot-20: 包含229,580个用户和227,979条边，其中11,826个账户被标记。同样提供关注者和好友关系。
• MGTAB: 基于最大的机器账户检测领域的原始数据构建，包含超过150万用户和1.3亿条推文。提供7种类型的关系，并标记了10,199个账户。
  

  image.png

实验中，使用所有标记的用户构建社交图。特别是对于MGTAB数据集，使用了信息增益最高的20个用户属性特征和BERT提取的768维用户推文特征。对于Twibot-20和Cresci-15，遵循了先前研究的处理方法，使用了用户属性特征、BERT提取的用户描述特征和用户推文特征。

3.2 基线方法 (Baseline Methods)

对比了多种半监督学习基线方法，包括：决策树 (DT)、随机森林 (RF)、Node2Vec、APPNP、图卷积网络 (GCN)、图简化卷积网络 (SGC)、图注意力网络 (GAT)、Boosting-GNN、JK-Nets、GraphSAINT、LA-GCN。

3.3 变体 (Variants)

为了评估RF-GNN各个模块对性能提升的贡献，生成了完整RF-GNN模型的几个变体。RF-GNN模型包括三个主要模块:子图构建模块、对齐机制模块和模型集成模块。为了进行消融研究，选择性地启用或禁用了这些模块的某些组件。以下是这些变化的说明:

• RF-GNN-E: 仅使用集成方法，不使用其他模块。
• RF-GNN-ES: 结合了子图构建和集成方法。
• RF-GNN: 包含所有模块，包括对齐机制。

3.4 参数设置 (Parameter Settings)

• 所有模型使用AdamW优化器训练200个周期。学习率统一设置为0.01，Node2Vec除外，其学习率为0.005。
• dropout率在0.3到0.5之间变化。
• GNN层的输入和输出维度统一设置为128或256。GAT和RGAT的注意力头设置为4。

实验在装有9个Titan RTX GPU、2.20GHz Intel Xeon Silver 4210 CPU和512GB RAM的服务器上执行，操作系统为Linux。

3.5 评估指标 (Evaluation Metrics)

由于社交媒体上人类和机器人的数量并不大致相等，使用准确率(Accuracy)和F1分数(F1-score)来表示分类器的整体性能。准确率和F1分数的计算公式如下：

image.png

其中，TP是真正例，TN是真负例，FP是假正例，FN是假负例。这些详细的实验设置为评估RF-GNN模型提供了坚实的基础，并允许与其他方法进行公平比较。

四、实验结果

4.1 整体性能评估

作者在公共可用的社交机器人检测数据集上进行了实验，以评估所提方法的有效性，对于RF-GNN，所有数据集的S设为10，提出的基线方法和完整RF-GNN方法的最佳结果以粗体突出显示：

image.png

实验采用1:1:8的比例随机划分训练集、验证集和测试集，以减少随机性并确保结果的稳定性。每种方法使用不同的随机种子评估了五次，并报告了平均测试结果。结果显示，RF-GNN在所有情况下都优于其他基线方法和变体。

4.2 消融研究

消融研究的目的是评估RF-GNN中不同模块对整体有效性的贡献，分别计算了RF-GCN- e、RF-GCN- es和RF-GCN三个基分类器在Twibot-20上输出的平均余弦相似度：

image.png

• RF-GNN-E: 仅使用集成方法，显示出对原始GNN模型的轻微改进。
• RF-GNN-ES: 结合了子图构建和集成方法，在大多数情况下通过训练基分类器在不同的子图上提高了模型性能。
• RF-GNN: 结合了对齐机制和RF-GNN-ES，进一步提高了性能，特别是在处理Twibot-20数据集时，准确率显著提高。

4.3 基分类器数量的影响

基分类器的数量是影响RF-GNN性能的关键参数。当基分类器数量较少时，RF-GNN的分类误差较高，性能相对较差。

增加基分类器的数量可以提高集成分类器的多样性，但构建RF-GNN的时间与基分类器的数量成正比，设置过多可能导致模型效率降低。 实验结果表明，当基分类器数量从2增加到10时，所有数据集的模型实例准确率均有所提高：

image.png

4.4 参数敏感性分析

基于GCN骨干模型，研究了超参数的敏感性，包括：

• α: 调整构建子图时选择的节点比例。
• β: 调整选择的特征比例。
• γ: 调整节点之间保留的边的比例。 测试了上述超参数，并将它们从0.1变化到0.9，结果如图所示：
  

  image.png

实验结果表明，特征选择比例β对RF-GCN性能影响最大，当β小于0.3时性能较差，而当β设置为0.7或0.9时性能最佳。

4.5 扩展到异构图GNN

将RF-GNN框架扩展到异构图GNN，特别是使用RGCN和RGAT作为基分类器。同构gnn在社交机器人检测中的平均性能比较。每种方法用不同的种子进行5次评价。我们提出的基线方法和完整RF-GNN方法的最佳结果以粗体突出显示：

image.png

异构图GNN能够区分不同类型的关系，例如关注者和好友关系，并利用这些信息提高检测结果。

4.6 模型鲁棒性评估

在社交机器人检测中，机器人可能会更改其注册信息以逃避检测。为了模拟这种情况，向账户的特征向量中添加了一定比例的随机噪声，将均值为0、方差为1的高斯噪声随机添加到10%、20%和30%的特征中，实验结果如图所示：

image.png

实验结果显示，RF-GCN在不同噪声比例下的性能优于RF-GCN-ES和GCN，表明所提出的对齐机制提高了模型的准确性和鲁棒性。

五、结论

RF-GNN通过结合GNN的节点关系利用能力和随机森林的集成学习优势，显著提高了社交机器人检测的性能和鲁棒性。实验结果表明，RF-GNN在社交机器人检测基准数据集上一致性地超越了现有的GNN基线。