【论文复现】WRN: 宽度残差网络
【论文复现】WRN: 宽度残差网络
概述
本文复现论文 Wide Residual Networks[1] 提出的深度神经网络模型。
为了解决深度神经网络梯度消失的问题，深度残差网络(Residual Network[2])被提出。然而，仅为了提高千分之一的准确率，也要将网络的层数翻倍，这使得网络的训练变得非常缓慢。为了解决这些问题，该论文对ResNet基本块的架构进行了改进并提出了一种新颖的架构——宽度残差网络（Wide Residual Network），其减少了深度并增加了残差网络的宽度。
我基于Pytorch复现了该网络并在CIFAR-10[3]、CIFAR-100[3]和SVHN[4]数据集上进行试验。此外，我提供了一个基于SVHN数据集训练的数字识别系统用于体验。
模型结构
宽度残差网络共包含四组结构。其中，第一组固定为一个卷积神经网络，第二、三、四组都包含 n 个基本残差块。
基本残差块的结构如图所示：
与普通的残差块不同的地方在于，普通残差块中的批归一化层和激活层都放在卷积层之后，而该论文将批归一化层和激活层都放在卷积层之前，该做法一方面加快了计算，另一方面使得该网络可以不需要用于特征池化的瓶颈层。此外，宽度残差网络成倍地增加了普通残差网络的特征通道数。
宽度残差网络在第三、四组的第一个卷积层进行下采样，即设置卷积步长为2。
核心逻辑
Wide Residual Network 的模型代码如下所示：
import torch
import torch.nn as nn
import torch.nn.functional as F
class WideBasicBlock(nn.Module):
"""Wide Residual Network的基本单元"""
def __init__(self, in_channels, out_channels, stride, dropout):
super(WideBasicBlock, self).__init__()
self.stride = stride
# 批归一化层、激活层、卷积层、Dropout层
self.layers = nn.Sequential(
nn.BatchNorm2d(in_channels),
nn.ReLU(inplace=True),
nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False),
nn.BatchNorm2d(out_channels),
nn.ReLU(inplace=True),
nn.Dropout(dropout),
nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
)
def forward(self, x):
out = self.layers(x)
if self.stride != 1:
residual = F.adaptive_avg_pool2d(x, (out.size(2), out.size(3)))
else:
residual = x
if out.size(1) != residual.size(1):
# 对池化和升维的特殊处理
if out.size(1) % residual.size(1) == 0:
residual = residual.repeat(1, out.size(1) // residual.size(1), 1, 1)
else:
padding = torch.zeros(residual.size(0), out.size(1) - residual.size(1), residual.size(2), residual.size(3)).to(residual.device)
residual = torch.cat((residual, padding), dim=1)
out = out + residual
return out
class WideResidualNetwork(nn.Module):
"""Wide Residual Network"""
def __init__(self, in_channels, out_channels, depth, width, dropout=0):
super(WideResidualNetwork, self).__init__()
self.conv1 = nn.Conv2d(in_channels, 16, kernel_size=3, stride=1, padding=1, bias=False)
self.conv2 = self.add_block(
in_channels = 16,
out_channels = 16 * width,
depth = depth,
stride = 1,
dropout = dropout
)
self.conv3 = self.add_block(
in_channels = 16 * width,
out_channels = 32 * width,
depth = depth,
stride = 2,
dropout = dropout
)
self.conv4 = self.add_block(
in_channels = 32 * width,
out_channels = 64 * width,
depth = depth,
stride = 2,
dropout = dropout
)
self.linear = nn.Linear(64 * width, out_channels)
def add_block(self, in_channels, out_channels, depth, stride, dropout):
"""添加一个基本单元的组合"""
layers = nn.Sequential()
layers.add_module(
name = '0',
module = WideBasicBlock(
in_channels = in_channels,
out_channels = out_channels,
stride = stride,
dropout = dropout
)
)
for i in range(1, depth):
layers.add_module(
name = str(i),
module = WideBasicBlock(
in_channels = out_channels,
out_channels = out_channels,
stride = 1,
dropout = dropout
)
)
return layers
def forward(self, x):
out = self.conv1(x)
out = self.conv2(out)
out = self.conv3(out)
out = self.conv4(out)
out = F.adaptive_avg_pool2d(out, (1, 1))
out = torch.flatten(out, 1)
out = self.linear(out)
return out以上代码仅作展示，更详细的代码文件请参见附件。
实验
训练与测试
所有实验基于WRN-37-2进行且使用SGD进行优化。对于CIFAR-10和CIFAR-100，学习率为0.01并在第60、120、160轮衰减到20%，dropout采用0.3，weight_decay和momentum分别为0.0005和0.9。对于SVHN，学习率为0.01并在第80、120轮衰减到10%，dropout为0，weight_decay和momentum分别为0.0005和0.9。三个数据集的batch size均为128。
此外，CIFAR-10和CIFAR-100使用了数据增强操作，具体为随机水平翻转和随机裁剪。
具体的实验结果如下表所示：
数据集 | 准确率 |
|---|---|
CIFAR-10 | 94.16% |
CIFAR-100 | 74.12% |
SVHN | 96.95% |
在线部署
我从网络上随机截取了10张大小、颜色、形状、背景各异的数字图像。这些图片的来源包括：车牌（6、8、9）、扑克牌（3）、广告（1、2、4、5、7）、腰带卡扣（0）。测试结果显示正确率为100%。
使用方式
解压附件压缩包并进入工作目录。如果是Linux系统，请使用如下命令：
网站提供了在线部署功能，如若使用请输入一张小于1MB、单个数字为主体的JPG图像。
使用方式
解压附件压缩包并进入工作目录。如果是Linux系统，请使用如下命令：
unzip Wide-Residual-Networks.zip
cd Wide-Residual-Networks代码的运行环境可通过如下命令进行配置：
pip install -r requirements.txt如果希望在本地训练模型，请运行如下命令：
python main.py -d ['CIFAR-10' 、'CIFAR-100'、 'SVHN'三者其中之一]如果希望在线部署，请运行如下命令：
python main-flask.py参考文献
[1] Zagoruyko S, Komodakis N. Wide residual networks[J]. arXiv preprint arXiv:1605.07146, 2016.
[2] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[3] Krizhevsky A, Hinton G. Learning multiple layers of features from tiny images[J]. 2009.
[4] Netzer Y, Wang T, Coates A, et al. Reading digits in natural images with unsupervised feature learning[C]//NIPS workshop on deep learning and unsupervised feature learning. 2011, 2011(5): 7.
编程未来，从这里启航！解锁无限创意，让每一行代码都成为你通往成功的阶梯，帮助更多人欣赏与学习！
腾讯云开发者
