归一化技术比较研究：Batch Norm, Layer Norm, Group Norm

数据派THU

发布于 2024-04-18 12:32:35

7350

发布于 2024-04-18 12:32:35

文章被收录于专栏：数据派THU

归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络体系结构、批处理大小和特定任务的不同而变化。

神经网络中的归一化层是用于标准化网络中某一层的输入的技术。这有助于加速训练过程并获得更好的表现。有几种类型的规范化层，其中 Batch Normalization, Layer Normalization, Group Normalization是最常见的。

常见的归一化技术

BatchNorm

BN应用于一批数据中的单个特征，通过计算批处理上特征的均值和方差来独立地归一化每个特征。它允许更高的学习率，并降低对网络初始化的敏感性。

这种规范化发生在每个特征通道上，并应用于整个批处理维度，它在大型批处理中最有效，因为统计数据是在批处理中计算的。

LayerNorm

与BN不同，LN计算用于归一化单个数据样本中所有特征的均值和方差。它应用于每一层的输出，独立地规范化每个样本的输入，因此不依赖于批大小。

LN有利于循环神经网络(rnn)以及批处理规模较小或动态的情况。

GroupNorm

GN将信道分成若干组，并计算每组内归一化的均值和方差。这对于通道数量可能很大的卷积神经网络很有用，将它们分成组有助于稳定训练。

GN不依赖于批大小，因此适用于小批大小的任务或批大小可以变化的任务。

每种规范化方法都有其优点，并且根据网络体系结构、批处理大小和训练过程的特定需求适合不同的场景：‍

BN对于具有稳定和大批大小的网络非常有效，LN对于序列模型和小批大小是首选，而GN提供了对批大小变化不太敏感的中间选项。

代码示例

我们演示了使用PyTorch在神经网络中使用三种规范化技术的代码，并且绘制运行的结果图。

首先是生成数据

 import torch
 import torch.nn as nn
 import torch.optim as optim
 import numpy as np
 import matplotlib.pyplot as plt
 from torch.utils.data import DataLoader, TensorDataset

 # Generate a synthetic dataset
 np.random.seed(42)
 X = np.random.rand(1000, 10)
 y = (X.sum(axis=1) > 5).astype(int)  # simple threshold sum function
 X_train, y_train = torch.tensor(X, dtype=torch.float32), torch.tensor(y, dtype=torch.int64)

 # Create a DataLoader
 dataset = TensorDataset(X_train, y_train)
 loader = DataLoader(dataset, batch_size=64, shuffle=True)

然后是创建模型，这里将三种方法写在一个模型中，初始化时只要传递不同的参数就可以使用不同的归一化方法

 # Define a model with Batch Normalization, Layer Normalization, and Group Normalization
 class NormalizationModel(nn.Module):
     def __init__(self, norm_type="batch"):
         super(NormalizationModel, self).__init__()
         self.fc1 = nn.Linear(10, 50)

         if norm_type == "batch":
             self.norm = nn.BatchNorm1d(50)
         elif norm_type == "layer":
             self.norm = nn.LayerNorm(50)
         elif norm_type == "group":
             self.norm = nn.GroupNorm(5, 50)  # 5 groups

         self.fc2 = nn.Linear(50, 2)

     def forward(self, x):
         x = self.fc1(x)
         x = self.norm(x)
         x = nn.ReLU()(x)
         x = self.fc2(x)
         return x

然后是训练的代码，我们也简单的封装下，方便后面调用

 # Training function
 def train_model(norm_type):
     model = NormalizationModel(norm_type=norm_type)
     criterion = nn.CrossEntropyLoss()
     optimizer = optim.Adam(model.parameters(), lr=0.001)
     num_epochs = 50
     losses = []

     for epoch in range(num_epochs):
         for inputs, targets in loader:
             optimizer.zero_grad()
             outputs = model(inputs)
             loss = criterion(outputs, targets)
             loss.backward()
             optimizer.step()
             losses.append(loss.item())

     return losses

最后就是训练,经过上面的封装，我们直接循环调用即可

 # Train and plot results for each normalization
 norm_types = ["batch", "layer", "group"]
 results = {}

 for norm_type in norm_types:
     losses = train_model(norm_type)
     results[norm_type] = losses
     plt.plot(losses, label=f"{norm_type} norm")

 plt.xlabel("Iteration")
 plt.ylabel("Loss")
 plt.title("Normalization Techniques Comparison")
 plt.legend()
 plt.show()

生成的图表将显示每种归一化技术如何影响有关减少损失的训练过程。我们可以解释哪种归一化技术对这个特定的合成数据集和训练设置更有效。我们的评判标准是通过适当的归一化实现更平滑和更快的收敛。