【机器学习】---深入探讨图神经网络（GNN）

凯子坚持C

发布于 2024-09-29 08:15:09

文章被收录于专栏：学习

图神经网络（Graph Neural Networks, GNNs）作为处理图结构数据的前沿工具，已在多个领域中展现出卓越的性能。本文将深入探讨GNN的基本原理、关键算法及其实现，提供更多代码示例，以帮助读者更好地理解和应用GNN。

1. 图的基本构成

在机器学习中，图由节点和边组成。每个节点通常包含特征向量，而边则表示节点间的关系。以下是图的一个简单示例及其邻接矩阵表示：

示例图

A -- B
| \  |
C -- D

邻接矩阵

    A  B  C  D
A [ 0, 1, 1, 1 ]
B [ 1, 0, 0, 1 ]
C [ 1, 0, 0, 1 ]
D [ 1, 1, 1, 0 ]

2. GNN的基本原理

GNN的核心在于节点间的信息传递。通过迭代的消息传递机制，节点能有效聚合其邻居的信息，从而学习到更有意义的特征表示。

消息传递机制

消息聚合：每个节点从其邻居节点接收信息，通常使用均值、和或最大值等聚合方式。
特征更新：结合聚合信息和自身特征，更新节点表示。

更新公式

3. GNN的类型及应用

3.1 Graph Convolutional Networks (GCN)

GCN通过图卷积操作更新节点特征，适合处理无向图。

GCN实现示例

import torch
import torch.nn.functional as F
from torch_geometric.nn import GCNConv
from torch_geometric.datasets import Planetoid

# 数据集加载
dataset = Planetoid(root='/tmp/Cora', name='Cora')
data = dataset[0]

class GCN(torch.nn.Module):
    def __init__(self):
        super(GCN, self).__init__()
        self.conv1 = GCNConv(dataset.num_features, 16)
        self.conv2 = GCNConv(16, dataset.num_classes)

    def forward(self, data):
        x, edge_index = data.x, data.edge_index
        x = F.relu(self.conv1(x, edge_index))
        x = F.dropout(x, training=self.training)
        x = self.conv2(x, edge_index)
        return F.log_softmax(x, dim=1)

# 模型训练
model = GCN()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)

for epoch in range(200):
    model.train()
    optimizer.zero_grad()
    out = model(data)
    loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])
    loss.backward()
    optimizer.step()

print("GCN训练完成。")

3.2 Graph Attention Networks (GAT)

GAT引入了注意力机制，让模型能够根据邻居节点的重要性自适应地聚合信息。

GAT实现示例

from torch_geometric.nn import GATConv

class GAT(torch.nn.Module):
    def __init__(self):
        super(GAT, self).__init__()
        self.conv1 = GATConv(dataset.num_features, 8, heads=8)
        self.conv2 = GATConv(8 * 8, dataset.num_classes)

    def forward(self, data):
        x, edge_index = data.x, data.edge_index
        x = F.elu(self.conv1(x, edge_index))
        x = F.dropout(x, training=self.training)
        x = self.conv2(x, edge_index)
        return F.log_softmax(x, dim=1)

# GAT模型训练
model = GAT()
optimizer = torch.optim.Adam(model.parameters(), lr=0.005, weight_decay=5e-4)

for epoch in range(200):
    model.train()
    optimizer.zero_grad()
    out = model(data)
    loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])
    loss.backward()
    optimizer.step()

print("GAT训练完成。")

3.3 GraphSAGE

GraphSAGE通过随机采样邻居进行训练，适合大规模图数据。

GraphSAGE实现示例

from torch_geometric.nn import SAGEConv

class GraphSAGE(torch.nn.Module):
    def __init__(self):
        super(GraphSAGE, self).__init__()
        self.conv1 = SAGEConv(dataset.num_features, 16)
        self.conv2 = SAGEConv(16, dataset.num_classes)

    def forward(self, data):
        x, edge_index = data.x, data.edge_index
        x = F.relu(self.conv1(x, edge_index))
        x = F.dropout(x, training=self.training)
        x = self.conv2(x, edge_index)
        return F.log_softmax(x, dim=1)

# GraphSAGE模型训练
model = GraphSAGE()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)

for epoch in range(200):
    model.train()
    optimizer.zero_grad()
    out = model(data)
    loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask])
    loss.backward()
    optimizer.step()

print("GraphSAGE训练完成。")