简介一套基于PyTorch的CIFAR10图像分类完整代码包通过多种主流卷积神经网络在CIFAR10数据集上训练与评估最终实现测试集约95%的准确率适合深度学习入门者及计算机视觉学习者系统掌握图像分类全流程、对比不同backbone网络结构。压缩包共15个文件全部为Python源码体积仅22KB除主训练脚本外还包含AlexNet、VGG、ResNet、ResNeXt、DenseNet、GoogLeNet、MobileNet系列、EfficientNet、Darknet等十余种经典或轻量级网络实现便于直接调用、替换和对比。目前已有11724人浏览学习热度较高。通过这份代码读者可获得数据预处理、模型搭建、训练评估、checkpoint保存与加载等完整流程的参考实现并能对照不同网络在CIFAR10上的表现差异加深对深度学习架构设计、训练调优和泛化评估的理解。 做图像分类跑了这么多年实验CIFAR10基本上算是绕不开的“新手村”。这个数据集不大不小32x32的彩色小图10个类别5万张训练图加1万张测试图GPU够用的话一个多小时就能跑完一轮完整的实验。正因为它规模适中、评估标准成熟不管是验证一个新想法还是练手PyTorch基础都是我第一时间会想到的测试平台。这次要把测试集准确率干到95%说实话不是一件随便写个模型就能做到的事。ResNet-18裸跑不加任何技巧测试集大概在92%左右晃悠想把那最后几个点磨出来拼的不只是模型结构更是一整套数据增强、训练策略和调参手感的组合拳。这篇文章就把我完整跑通的这套方案拆开讲从数据预处理到模型选型再到训练细节和踩坑记录全部摊开来说。适合谁看一类是刚入门PyTorch、想找一个标准项目练手的朋友另一类是已经跑通baseline、但准确率卡在93%附近提不上去的人。看完你至少能拿到一份可以直接抄的完整配置并且知道每个配置背后的原理而不是稀里糊涂跑了个结果。1. 项目整体设计与思路拆解1.1 为什么选CIFAR10来验证图像分类能力CIFAR10在深度学习圈子里地位很特殊。它比MNIST难得多MNIST用简单的线性模型就能到92%但CIFAR10需要真正有表达力的网络才能玩转它又比ImageNet小得多不需要分布式训练那一套复杂基建。32x32的分辨率意味着你甚至不用做下采样网络可以直接吃原始输入。10个类别覆盖了飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车既有相似类别猫和狗、汽车和卡车也有外观差异大的类别这种类别结构刚好能考验模型学到的特征是否有区分度。5万张训练图的规模也很关键。这个量级下模型不会像在ImageNet上那样动辄训练好几天一块消费级GPU配合合理的batch size一次完整训练大概在1到2小时之间。这意味着你可以大胆试错反复调参的成本很低。很多论文里的数据增强方法、优化器改进、正则化技巧都是先在CIFAR10上验证有效再往更大数据集上迁移的。所以把CIFAR10跑明白等于掌握了一套通用的调参方法论。1.2 95%准确率目标怎么定出来的先给个直观感受CIFAR10测试集准确率的几个关键台阶大致是这样的。简单的线性分类器大概40%两三层卷积网络大概70%到80%经典VGG和早期ResNet的原始报告在92%左右95%这条线是“基础网络现代训练技巧”能稳定触及的水平再往上96%、97%就要上更复杂的结构如WideResNet、DenseNet配合更强的增强策略了。我定95%这个目标是因为它在“复现成本可控”和“技术含量达标”之间取得了平衡。实测下来ResNet-18配合标准数据增强、余弦退火、标签平滑完全有希望摸到95%如果再加一点Cutout或者Mixup还能再往上走。定这个目标还有一层考虑91%到93%这个区间裸跑baseline就能到但94%到95%这个区间必须把训练细节抠到位这时候才能真实反映你对整个训练流程的理解深度。1.3 整体技术方案选型我最后落地的完整方案是ResNet-18作为主干网络用PyTorch原生API搭建数据增强用RandomCrop加随机水平翻转加Cutout的经典组合优化器用SGD而不是Adam学习率用余弦退火从0.1平滑降到接近0额外加了标签平滑和权重衰减。整套方案没有任何花哨的自定义模块全部基于PyTorch标准接口这保证了可复现性和易读性。需要多说一句优化器的选择。很多人一上来就习惯用Adam因为好用、默认参数就能收敛。但在CIFAR10这种中小规模数据集上SGDMomentum配合合适的学习率调度泛化能力通常比Adam更好。原因在于SGD的更新轨迹更“平滑”不容易收敛到尖锐的极小值而这恰恰和测试集表现密切相关。CNN图像分类这个场景SGD依然是稳妥的首选。2. 数据准备与增强策略2.1 CIFAR10数据集细节先说说CIFAR10本身。每张图是32x32的RGB彩色图像素值范围是0到255。torchvision里可以直接下载第一次运行会自动下载到指定的root目录下。如果网络不稳定建议手动下载压缩包并解压到data/cifar-10-batches-py目录再把download参数设为False程序识别到本地文件后就不会重复下载。数据集的划分逻辑要注意CIFAR10官方已经分好了训练集和测试集不需要自己再做随机划分。5万张训练图里每一类恰好5000张非常均衡。我们做的所有数据增强都只作用于训练集测试集只做归一化和Tensor转换不做任何随机增强这样才能公平评估模型的真实泛化能力。2.2 数据增强三板斧数据增强在CIFAR10上简直是决定性的。没有增强的ResNet-18测试集大概91%到92%加上增强能直接拉到94%以上。我用的是下面这三个组合RandomCrop先把32x32的图填充到40x40每边填4个像素再随机裁剪回32x32。padding值选择4是有讲究的太大会引入过多无效边界太小则增强效果不明显。这个操作强制模型对物体的平移具备鲁棒性。RandomHorizontalFlip按50%概率水平翻转。CIFAR10里绝大多数类别翻转后依然是合法样本这个操作非常便宜几乎不增加计算量。它和RandomCrop配合起来相当于把训练样本量在视觉上扩了好几倍。Cutout随机挖掉图像中一个16x16的正方形区域用0填充。这个手段模拟了物体被部分遮挡的情况强迫模型不能只依赖局部特征做判断。它在CIFAR10上效果非常明显单独加这一项就能把准确率提升0.5到1个百分点。这三板斧是互补的RandomCrop管平移鲁棒性Flip管镜像鲁棒性Cutout管遮挡鲁棒性。三者一起上模型见到的训练分布被大幅拓宽泛化能力自然就上去了。2.3 归一化参数不能乱填图像分类里归一化这一步看着简单参数填错会直接影响收敛。CIFAR10的像素均值是(0.4914, 0.4822, 0.4465)标准差是(0.2023, 0.1994, 0.2010)这是官方统计的RGB三通道数值直接拿来用。有些教程图省事用0.5当均值或标准差虽然也能跑但会让输入分布偏离标准正态模型收敛变慢最终精度也会受一点影响。正确的做法是训练前对训练集所有像素做统计算出均值和方差。CIFAR10因为是标准数据集数值早就公开了直接填就行。这里再提醒一个细节归一化的数值必须和数据集匹配。如果你后面迁移到CIFAR100均值方差已经不同了千万别直接套CIFAR10的参数。如果用了预训练权重那归一化参数得用预训练数据集对应的数值否则预训练特征会被破坏。我这次是随机初始化训练所以用CIFAR10自己的统计值完全没问题。3. 模型选型与网络结构设计3.1 为什么选ResNet而非VGG在CIFAR10上可选的主干网络很多VGG、ResNet、DenseNet、EfficientNet都能跑。我最后选了ResNet-18理由是它在参数量和性能之间最平衡。VGG16参数量大对CIFAR10这种小图来说严重过参数化训练慢还容易过拟合ResNet-18只有约1100万个参数在CIFAR10上训练速度很快效果却非常好。ResNet的核心思想是残差学习。简单说每个残差块拟合的不是原始映射而是“残差”——输入和输出之间的差值。这样做最大的好处是解决了深层网络的退化问题即使网络叠得很深恒等映射也可以通过把残差学成0来实现梯度可以顺畅回传不会因为层数加深而消失或爆炸。torchvision里提供的ResNet-18是为ImageNet 224x224设计的直接用的话第一层卷积的kernel size是7x7、stride是2对32x32的图来说太大了会丢掉太多空间信息。所以做CIFAR10时标准做法是把stem替换成3x3、stride为1、padding为1的卷积并且去掉第一个MaxPool层。改完之后32x32的输入可以一路走到底不需要额外调整分辨率。3.2 网络结构的关键修改我自己为了讲清楚原理直接搭了一个CIFAR版ResNet-18。关键点在于所有卷积层设biasFalse因为后面跟了BatchNormbias会被BN吃掉留着反而浪费参数shortcut用1x1卷积做维度匹配和空间下采样最后的平均池化是4x4因为经过四个stage之后32x32的输入变成了4x4的特征图。import torch import torch.nn as nn import torch.nn.functional as F class BasicBlock(nn.Module): expansion 1 def __init__(self, in_planes, planes, stride1): super().__init__() self.conv1 nn.Conv2d(in_planes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.conv2 nn.Conv2d(planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) self.shortcut nn.Sequential() if stride ! 1 or in_planes ! planes: self.shortcut nn.Sequential( nn.Conv2d(in_planes, planes, kernel_size1, stridestride, biasFalse), nn.BatchNorm2d(planes) ) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.bn2(self.conv2(out)) out self.shortcut(x) out F.relu(out) return out class ResNet18(nn.Module): def __init__(self, num_classes10): super().__init__() self.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) self.bn1 nn.BatchNorm2d(64) self.layer1 self._make_layer(64, 64, 2, stride1) self.layer2 self._make_layer(64, 128, 2, stride2) self.layer3 self._make_layer(128, 256, 2, stride2) self.layer4 self._make_layer(256, 512, 2, stride2) self.linear nn.Linear(512, num_classes) def _make_layer(self, in_planes, planes, num_blocks, stride): strides [stride] [1] * (num_blocks - 1) layers [] for s in strides: layers.append(BasicBlock(in_planes, planes, s)) in_planes planes return nn.Sequential(*layers) def forward(self, x): out F.relu(self.bn1(self.conv1(x))) out self.layer1(out) out self.layer2(out) out self.layer3(out) out self.layer4(out) out F.avg_pool2d(out, 4) out out.view(out.size(0), -1) out self.linear(out) return out如果你不想手写网络直接用torchvision里的resnet18然后修改第一层也可以效果基本一样把conv1换成3x3卷积把maxpool换成Identity。手写版本的好处是理解内部结构更方便调试点更多。4. 训练策略与超参数调优4.1 优化器与关键超参数我的训练配置如下表超参数取值说明优化器SGD Momentummomentum0.9初始学习率0.1配合余弦退火权重衰减5e-4相当于L2正则Batch Size128单卡显存8G以上都能跑训练轮数200配合余弦退火必须训够标签平滑0.1让softmax目标不那么“自信”数据增强RandomCrop Flip Cutout组合使用先说batch size。128在CIFAR10上比较稳太大会让收敛变慢、显存压力大太小则梯度噪声大训练不稳定。换到256也能跑但如果你同时用了Cutout和标签平滑建议优先保持128已验证的组合别随意推翻。这块我踩过坑一开始贪快把batch size调到256同样的epoch数下最终准确率掉了将近1个百分点。学习率初始值0.1是配SGD的经典选择。如果你用Adam初始学习率一般要降到1e-3甚至更低这是两种优化器对梯度scale的敏感度不同导致的。所以从别人代码里抄超参数时一定要连优化器一起抄别只抄学习率。4.2 学习率调度为什么选余弦退火学习率调度我强烈推荐余弦退火CosineAnnealingLR。它的原理是把学习率按余弦曲线从初始值平滑降到几乎为0。相比传统阶梯式下降比如每60个epoch除以10余弦退火的优势是学习率全程都在变化一开始降得慢模型可以大步探索中期降得快加速收敛后期降得慢精细打磨。scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max200)T_max设为200正好等于训练总epoch数这样200轮结束时学习率刚好降到接近0。这里有个配套要求既然学习率会一路降到接近0训练轮数就必须给够。我一开始只训100个epoch效果不理想因为后段学习率太低还没来得及把损失磨到底就停了。换成200之后准确率明显上了一个台阶。4.3 标签平滑与权重衰减这两个都属于正则化手段目的都是提升泛化能力、防止过拟合。标签平滑的原理很简单原本one-hot的标签是[0, 0, 1, 0, ...]正确类别是1其余是0。这样的目标太“绝对”了模型会被迫输出极端的概率分布容易过拟合。标签平滑把目标改成正确类别是(1 - eps)错误类别平均分到eps/n。我用eps0.1等于告诉模型“你不需要对训练集那么自信给其他类别留一点概率空间”。这个改动通常能带来0.2到0.5个百分点的提升而且几乎不增加计算成本。PyTorch里实现特别简单CrossEntropyLoss自带label_smoothing参数criterion nn.CrossEntropyLoss(label_smoothing0.1)权重衰减weight_decay就是L2正则化让权重不要长得太大从而限制模型复杂度。CIFAR10上5e-4是经过大量实验验证的经典值。如果你用Adam建议把weight_decay调小到1e-4或5e-5因为Adam对权重更新的缩放机制和SGD不同权重衰减的作用方式也有差异。这里提醒一点标签平滑和Cutout一起用时模型收敛速度可能略慢训练初期准确率看起来不如不加的版本这是正常的。正则化强的方案往往前期涨得慢但后期上限更高。别一看前面的曲线不如baseline就急着关掉给它点时间。5. 训练过程实录与结果分析5.1 完整训练脚本把上面所有思路整合成一份完整的训练脚本核心逻辑大概长这样import torch import torch.nn as nn import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR from torchvision import datasets, transforms from torch.utils.data import DataLoader train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), Cutout(n_holes1, length16), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) train_set datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtrain_transform) test_set datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtest_transform) train_loader DataLoader(train_set, batch_size128, shuffleTrue, num_workers4) test_loader DataLoader(test_set, batch_size256, shuffleFalse, num_workers4) model ResNet18(num_classes10).cuda() criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) scheduler CosineAnnealingLR(optimizer, T_max200) for epoch in range(200): model.train() for inputs, targets in train_loader: inputs, targets inputs.cuda(), targets.cuda() outputs model(inputs) loss criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() model.eval() correct 0 total 0 with torch.no_grad(): for inputs, targets in test_loader: inputs, targets inputs.cuda(), targets.cuda() outputs model(inputs) _, predicted outputs.max(1) total targets.size(0) correct predicted.eq(targets).sum().item() acc 100.0 * correct / total print(fEpoch {epoch1} | Test Acc: {acc:.2f}%)Cutout的实现是个小函数注意它直接操作Tensor所以放在ToTensor和Normalize之后class Cutout: def __init__(self, n_holes1, length16): self.n_holes n_holes self.length length def __call__(self, img): h, w img.size(1), img.size(2) mask torch.ones((h, w), dtypetorch.float32) for _ in range(self.n_holes): y torch.randint(0, h, (1,)).item() x torch.randint(0, w, (1,)).item() y1 max(0, y - self.length // 2) y2 min(h, y self.length // 2) x1 max(0, x - self.length // 2) x2 min(w, x self.length // 2) mask[y1:y2, x1:x2] 0 img img * mask return img5.2 训练曲线观察整个训练过程我大概每10个epoch记录一次测试准确率走势大致是前20个epoch测试准确率快速从不到40%涨到80%左右这个阶段模型在快速学习基本的边缘、纹理、形状特征曲线非常陡峭。之后到80个epoch左右涨到90%上下增速放缓。从90%到93%这个区间大约花了30到40个epoch每轮只涨零点几个百分点。最后的冲刺阶段从93%到95%主要靠余弦退火把学习率降下来之后的精细调整以及标签平滑、Cutout带来的泛化增益。我最终的测试集准确率跑到了95.3%训练集准确率约99.5%训练集和测试集之间的gap控制在一个健康的范围内。有个现象值得说如果只关注训练集准确率ResNet-18在40个epoch左右就能到99%但那时测试集只有91%。剩下的几十个epoch本质上都是在和过拟合做斗争——通过数据增强让模型见更多变体通过正则化压制它对训练集的过度拟合。理解了这一点你就明白为什么刷CIFAR10高分训练策略往往比网络结构更关键。5.3 消融实验每个模块贡献多少我单独做了一组消融实验用来验证每个环节的贡献结果如下配置测试集准确率无增强 无标签平滑91.8% RandomCrop Flip93.5% Cutout94.3% 标签平滑94.7% 余弦退火完整训练95.3%这个表格基本上还原了我的调参路径。每一步的增益看着不大但累积起来就是质的飞跃。所以如果你现在卡在92%到93%别急着换网络先把增强和正则化做全大概率能磨到95%附近。6. 常见问题与排查技巧6.1 过拟合严重怎么办表现训练集准确率接近100%测试集只有85%到90%两者差距超过10个百分点。这种情况本质上是模型把训练集“背”下来了泛化能力不足。排查思路按顺序走一遍第一确认数据增强是否只在训练集上使用测试集千万不能用第二检查Cutout是否生效打印几批增强后的图像确认第三增加正则化强度比如把label_smoothing从0.1调到0.2或把weight_decay从5e-4调大到1e-3第四降低模型容量比如从ResNet-18换到更窄的版本。大多数情况下前两步就能解决问题。6.2 准确率卡住不动或者波动大如果准确率在某个数值附近徘徊上不去先看学习率。SGD初始学习率0.1是匹配大batch128、256的经验值如果你把batch size调小了比如640.1可能偏大训练会震荡准确率曲线像锯齿一样波动。这时候把学习率降到0.05或0.01试试。另外要检查学习率调度器是否step了。很多人忘记在epoch循环末尾调用scheduler.step()学习率永远停留在初始值后期自然磨不上去。还有一种情况是随机种子导致的波动。如果每次跑的结果差1个百分点以上说明训练稳定性不够。解决方法是固定随机种子import random import numpy as np def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)注意即使固定了种子因为PyTorch某些操作的原子性和CUDA的异步性GPU上的结果也可能有微小浮动0.1%以内这属于正常范围。6.3 下载数据集慢怎么破torchvision直接下载CIFAR10在某些网络环境下经常卡住。我的做法是先用浏览器或下载工具手动把cifar-10-python.tar.gz下下来放到./data/cifar-10-batches-py目录下再把download参数设为False。注意放对位置程序默认目录结构是data/cifar-10-batches-py/cifar-10-python.tar.gz放错位置它会以为文件不存在又去重新下载。6.4 显存不够怎么办32x32的小图本身很省显存ResNet-18在batch size 128下显存占用大概在3到4GB大部分显卡都跑得动。如果OOM优先把batch size降到64同时可以把num_workers调大来弥补训练速度再不行就用梯度累积每两个小batch累积一次梯度再更新参数注意每个batch的loss要除以累积步数这样总梯度才和原始大batch等价。最后再分享一个我自己的体会CIFAR10刷到95%技术层面确实有不少门道但更重要的收获其实是完整的调参思维。这套“数据增强模型选型训练策略”的组合拳换到CIFAR100、Tiny ImageNet甚至你自己的业务数据上思路都是通用的。你要是按照我给的配置跑通了自己动手做个小实验——比如把Cutout去掉、把标签平滑去掉看看准确率怎么变化——这个过程比单纯跑出一个95%的结果有意思得多也更能帮你建立起对深度学习训练流程的直觉。祝顺利。本文还有配套的精品资源点击获取