猫头虎分享：Python库 Pytorch 中 CIFAR-10 数据集简介、下载方法（自动）、基本使用教程

猫头虎

发布于 2025-01-18 14:16:11

28100

代码可运行

文章被收录于专栏：猫头虎博客专区猫头虎博客专区

运行总次数：0

代码可运行

🐯 猫头虎分享：Python库 Pytorch 中 CIFAR-10 数据集简介、下载方法（自动）、基本使用教程 🐯

摘要

大家好！今天是 猫头虎 和大家一起探索 深度学习领域的经典入门数据集——CIFAR-10 的一天！📊✨许多粉丝最近私信问我：“如何高效地在 Pytorch 中下载并使用 CIFAR-10？”。其实，CIFAR-10 是一个绝佳的练手数据集，尤其在图像分类任务中用途广泛。

今天我就用我在项目开发中踩过的坑和经验，手把手教你如何通过 Pytorch 快速下载、加载和使用这个经典数据集。

猫头虎分享：Python库 Pytorch 中 CIFAR-10 数据集简介、下载方法（自动）、基本使用教程

正文

📚 什么是 CIFAR-10？

CIFAR-10 是一个包含 10 个类别图片的小型图像数据集，由加拿大多伦多大学发布，主要用于图像分类的初学者练习。其特点如下：

图片数量：共计 60,000 张 32x32 彩色图像。
类别数量：10 个类别，分别是 飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船, 和 卡车。
训练集与测试集划分：
- 训练集：50,000 张。
- 测试集：10,000 张。

为什么选择 CIFAR-10？

小巧易用：适合初学者上手，无需庞大的计算资源。
真实场景：图像来源真实，适合基础的图像分类任务。
开源支持：与 PyTorch 和 TensorFlow 无缝结合。

📥 如何在 PyTorch 中下载 CIFAR-10 数据集？

在 PyTorch 中，torchvision.datasets 提供了一个便捷的方式来加载 CIFAR-10。以下是完整的自动下载与加载方法。

🛠️ 步骤 1：安装必要的库

确保安装了以下 Python 库：

pip install torch torchvision

🛠️ 步骤 2：加载数据集

以下代码会自动下载 CIFAR-10，并将其存储在指定路径中：

import torch
import torchvision
import torchvision.transforms as transforms

# 数据预处理（标准化）
transform = transforms.Compose([
    transforms.ToTensor(),  # 将图片转为 Tensor
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))  # 标准化
])

# 下载与加载训练数据
trainset = torchvision.datasets.CIFAR10(
    root='./data',  # 数据集存储路径
    train=True,     # 是否加载训练集
    download=True,  # 如果数据集不存在，自动下载
    transform=transform
)

trainloader = torch.utils.data.DataLoader(
    trainset,
    batch_size=32,  # 每批加载 32 个样本
    shuffle=True    # 随机打乱
)

# 下载与加载测试数据
testset = torchvision.datasets.CIFAR10(
    root='./data',
    train=False,
    download=True,
    transform=transform
)

testloader = torch.utils.data.DataLoader(
    testset,
    batch_size=32,
    shuffle=False
)

💡 猫哥提示：指定 `root` 为数据存储路径，若不设置，将默认存储在项目目录下的 `data` 文件夹。

🛠️ 步骤 3：查看数据集信息

快速查看数据样本及其标签：

# 类别标签
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

# 显示部分数据
import matplotlib.pyplot as plt
import numpy as np

# 定义函数：展示图片
def imshow(img):
    img = img / 2 + 0.5  # 反标准化
    npimg = img.numpy()
    plt.imshow(np.transpose(npimg, (1, 2, 0)))
    plt.show()

# 随机获取一批数据
dataiter = iter(trainloader)
images, labels = next(dataiter)

# 显示图片
imshow(torchvision.utils.make_grid(images))
# 打印标签
print(' '.join(f'{classes[labels[j]]}' for j in range(8)))

运行此代码后，您将看到一组样本图片，以及对应的类别标签。

🛡️ 常见问题及解决方法

1️⃣ 下载过慢

问题：由于网络限制，CIFAR-10 下载速度可能非常慢。 解决方法：

使用国内镜像源：

torchvision.datasets.CIFAR10(
    root='./data',
    train=True,
    download=True,
    transform=transform,
    mirror='https://download.pytorch.org/whl/torch_stable.html'
)

或提前手动下载数据集，并将其解压到 root 指定路径中。

2️⃣ 内存不足

问题：加载整个数据集可能导致内存不足。 解决方法：

减小 batch_size，例如将其从 32 降低到 16 或更小。
使用数据集切片，只加载部分数据。

3️⃣ 图片颜色不正常

问题：图片显示颜色异常，或全为灰色。 解决方法：

确保 Normalize 的均值和标准差是正确的。
在数据预处理前使用 .show() 验证图片格式。

📋 总结

功能	方法	代码参考
数据集加载	使用 torchvision.datasets.CIFAR10 自动下载与加载	trainset
预处理	使用 torchvision.transforms 实现标准化、裁剪等	transform
查看样本	随机获取并可视化数据样本	imshow
解决下载问题	手动下载或使用国内镜像源	镜像设置
解决内存问题	调整批量大小或切片加载	batch_size