简介基于深度迁移学习的小样本图像分类Matlab程序面向计算机视觉初学者与工业质检开发人员使用AlexNet预训练模型进行微调解决标注样本有限时的图像分类与缺陷检测问题。资源共76个文件包含75张jpg样本图像与1个AlexNet.m主程序压缩包仅370KB样本图像覆盖帽子、手电、螺丝刀、扑克牌、立方体等多类物体可直接用于训练与测试主程序严格按数据读取、尺寸归一化、网络层替换、数据集划分、模型微调训练、准确率评估及混淆矩阵可视化等流程组织便于逐步理解。已有1436人学习该资源实用价值得到验证。通过此程序可掌握Matlab深度学习工具箱中预训练权重的加载、顶层网络替换、冻结部分层与数据增强等迁移学习关键操作并能将完整流程迁移到自身小样本分类或产品表面缺陷检测项目中快速搭建原型。1. 小样本下的 AlexNet 迁移样本越少越要借力手里只有每类 2050 张图像还想用深度学习做个分类器直觉上很多人会换一个小网络从头训练。但实践里更稳的做法往往相反把 ImageNet 上训好的 AlexNet 拿过来冻结大部分卷积层替换最后的全连接层只在你的小数据集上微调十几个 epoch。原因不复杂——小样本撑不起从头训练大型 CNN 所需的参数空间而 AlexNet 前几层卷积学到的边缘、纹理、颜色渐变这些低级特征在自然图像和工业图像之间是可迁移的。本标题涉及的完整链路在 MATLAB 里全部可跑数据加载、层替换、训练配置、混淆矩阵验证最后落到工业缺陷检测场景。这篇就按这条线展开每步代码都能直接复制改参数。2. 迁移学习原理与 AlexNet 选型为什么 ImageNet 权重在小样本上有效2.1 小样本训练的三个死法过拟合、特征退化、收敛慢小样本从头训练深度网络第一个遇到的就是过拟合。参数量百万级训练样本几十张经验风险最小化在这时候几乎没有约束力训练 loss 能被压到接近 0验证集准确率却可能只有 60%。这不是调参能解决的是 VC 维意义上的样本量不足泛化误差界中的置信项在小样本下会大得离谱。第二个问题是特征退化。随机初始化的卷积核在少量样本上很难学到稳定的边缘和纹理滤波器梯度更新方向被少数几个样本主导训练完的特征图往往呈现大量噪声响应。这在小卷积网络上尤其明显很多人换成 ResNet 之后发现更严重因为残差结构在小样本上退化成恒等映射的倾向更强。第三个问题被低估收敛慢。小样本训练集每 epoch 更新步数很少SGD 需要更多 epoch 才能遍历足够多的梯度方向实际调参时间成本很高。迁移学习恰好绕开这三个问题预训练权重提供了稳定的特征提取器训练只针对最后的分类层和少量微调层需要学习的参数从几千万降到几千过拟合风险和收敛时间同时降下来。2.2 AlexNet 的哪些层可以迁移哪些层必须重训AlexNet 的结构是 5 个卷积层 3 个全连接层输入规格 227×227×3。从迁移学习的角度看它的层可以按语义分成三段每一段的迁移策略完全不同。层段学到的特征类型小样本迁移策略判断依据conv1-conv2边缘、角点、颜色块完全冻结跨域通用性最强任何图像任务都依赖conv3-conv5局部纹理组合、零件级形状可冻结或设低学习率与目标域的纹理风格相关度逐渐升高fc6-fc7全局语义描述、类别判别模式建议解冻低学习率需要把特征组合方式适配到新类别fc8-softmax1000 类打分删除换新分类层类别数不同必须重训这其中的关键在 fc6 和 fc7。这两个全连接层占了 AlexNet 绝大部分参数量它们在 ImageNet 上学到的是“图像语义的压缩编码”。如果目标域和 ImageNet 的域差异很大——比如自然照片迁移到 X 光片——fc7 的参数就带有太多自然图像的语义偏向此时解冻它对效果提升是实打实的。反之如果目标域本身是普通光照下的工业照片冻结 fc6/fc7 反而更安全。2.2.1 卷积层迁移的层次性迁移学习里常说“浅层通用、深层专用”这在 AlexNet 上体现得很明显。conv1 学的是类似 Gabor 滤波器的边缘响应除非输入图像经过了极端预处理比如变成二值图否则这些滤波器在新任务上依然有效。到了 conv5特征已经是“眼睛”“车轮”这类 ImageNet 类别级的概念组合用来描述你的缺陷样本时响应模式就不那么直接了。所以实际操作中我一般先冻结 conv1-conv3让 conv4-conv5 和 fc6-fc7 参与微调。冻结方式不是删除层而是把对应层的 WeightLearnRateFactor 和 BiasLearnRateFactor 设为 0。这个思路在后面的代码里会直接体现。2.3 归纳式与直推式迁移学习的取舍迁移学习按技术路线可以分归纳式和直推式归纳式是先在源域预训练模型再到目标域微调直推式则假设源域和目标域共享特征空间用目标域的无标签数据参与源域模型的域适配。直推式迁移学习近年来在域自适应方向讨论得很多但在 MATLAB 的 Deep Learning Toolbox 里并没有现成的直推式接口自己实现对抗域适应需要额外的对抗网络框架工程量不小。工程落地时归纳式基本是默认选择尤其在小样本场景下无标签目标域数据往往也没有想象中那么多。预训练权重这一步在 MATLAB 里就是一行代码net alexnet;这一行会自动加载 Deep Learning Toolbox Model for AlexNet Network 支持包中的预训练权重前提是当前 MATLAB 版本装了这个支持包。加载之后 net 是一个 DAGNetwork 对象后面所有迁移操作都围绕它展开。3. 用 MATLAB 实现 AlexNet 小样本分类的完整流程3.1 数据目录组织与 imageDatastore 加载数据准备的第一原则按类别建子文件夹文件夹名就是标签。MATLAB 的 imageDatastore 会自动把父目录名映射为分类标签不需要手写 CSV 或额外标注文件。% data 根目录下新建 defect 和 ok 两个子文件夹 imds imageDatastore(data, ... IncludeSubfolders, true, ... LabelSource, foldernames); % 按类别划分训练集和验证集 [imdsTrain, imdsVal] splitEachLabel(imds, 0.8, randomized); % 查看每类样本数量 countEachLabel(imds)splitEachLabel 的第二个参数是每类保留在训练集中的比例。每类只有 20 张时验证集只剩 4 张单次划分的准确率波动会非常大。常见做法是改成 0.7 甚至 0.75但更要紧的是理解一次 90% 的验证准确率在小验证集上可能只是运气。如果样本总量很少建议配合交叉验证重复 5 次取平均值而不是盯着单次结果调参。3.2 数据增强与 227×227 输入规格AlexNet 的输入层固定为 227×227×3原始图像尺寸往往不满足。augmentedImageDatastore 可以在数据流中动态完成缩放和增强不需要把处理后的图像写回磁盘。% 训练集增强小角度旋转、小范围平移和缩放 aug imageDataAugmenter(... RandRotation, [-5 5], ... RandXTranslation, [-10 10], ... RandYTranslation, [-10 10], ... RandScale, [0.9 1.1]); augimdsTrain augmentedImageDatastore([227 227], imdsTrain, ... DataAugmentation, aug); % 验证集只做尺寸缩放不做随机增强 augimdsVal augmentedImageDatastore([227 227], imdsVal);这段代码里有三个参数值得注意。RandRotation 的单位是度工业缺陷样本中缺陷的朝向往往有物理意义——比如划痕的方向和加工进给方向一致旋转范围超过 ±5° 就会破坏这个信息。RandXTranslation 和 RandYTranslation 的单位是像素对 227×227 的输入±10 像素大约相当于原图的 4%这个幅度足以模拟缺陷在视野中的位置抖动。验证集不做随机增强是原则否则验证集和训练集的分布被混在一起评估结果失真。3.3 替换 AlexNet 分类层并组装 layerGraph经典的 AlexNet 迁移替换点是最后一组全连接、Softmax 和分类输出层。注意层之间的实际连接顺序fc7 后面跟着 relu7 和 drop7fc8 的输入来自 drop7 的输出。所以新分类层要接在 drop7 后面。net alexnet; lgraph layerGraph(net); % 移除原有的 1000 类分类层 lgraph removeLayers(lgraph, {fc8, prob, output}); % 新分类层的类别数由训练集的标签数决定 numClasses numel(categories(imdsTrain.Labels)); % 随机初始化全连接层学习率因子设 10 加快收敛 newLayers [ fullyConnectedLayer(numClasses, Name, fc_new, ... WeightLearnRateFactor, 10, BiasLearnRateFactor, 10) softmaxLayer(Name, prob_new) classificationLayer(Name, output_new) ]; lgraph addLayers(lgraph, newLayers); % 关键连接从 drop7 接到新全连接层 lgraph connectLayers(lgraph, drop7, fc_new); lgraph connectLayers(lgraph, fc_new, prob_new); lgraph connectLayers(lgraph, prob_new, output_new);代码里最容易写错的地方是最后一条连接的起点。很多人默认 fc8 的输入是 fc7实际是 drop7——dropout 层的输出。如果连接位置写错trainNetwork 会报层连接错误。fc_new 的学习率因子设 10是因为这层是随机初始化的梯度大小和预训练层不在一个量级需要更大的更新步长才能尽快脱离随机状态。如果不想让新层学太快可以改成 5效果相差不大但 1 的话收敛会明显变慢。另一种做法是直接对 net.Layers 做数组拼接再重建 layerGraph但这样做会丢失原有层之间的连接信息层少没问题AlexNet 这种带 dropout 分支关系的结构不建议这么干。3.4 训练选项与 trainNetwork 运行训练选项是小样本迁移里最值得逐项看的部分。下面这组配置是我跑过多个小样本任务后认为比较稳的起点。options trainingOptions(sgdm, ... MiniBatchSize, 16, ... MaxEpochs, 15, ... InitialLearnRate, 3e-4, ... Shuffle, every-epoch, ... ValidationData, augimdsVal, ... ValidationFrequency, 10, ... Plots, training-progress, ... Verbose, false); netTrained trainNetwork(augimdsTrain, lgraph, options);优化器选 sgdm 而不是 adam这是迁移学习场景下的常见取舍。adam 的自适应学习率在从头训练时收敛快但在微调预训练权重时往往会让权重更新迈得太大验证 loss 在前期下降后就进入震荡平台。sgdm 配合 3e-4 的学习率对预训练权重的扰动更小。MiniBatchSize 16 和 MaxEpochs 15 配对总共只有 240 次参数更新对 2050 张每类的训练集已经足够。ValidationFrequency 设 10 意味着每 10 个迭代跑一次验证这样能在训练曲线图上更早看到过拟合信号。3.5 验证与混淆矩阵训练完成后验证集上的评估不能只看一个整体准确率小样本场景下混淆矩阵能暴露更多信息。% 预测验证集 predLabels classify(netTrained, augimdsVal); trueLabels imdsVal.Labels; % 总准确率 acc mean(predLabels trueLabels); % 混淆矩阵 figure; confusionchart(trueLabels, predLabels); % 逐类精确率和召回率 for i 1:numClasses className categories(trueLabels(i)); tp sum(predLabels className trueLabels className); fp sum(predLabels className trueLabels ~ className); fn sum(predLabels ~ className trueLabels className); precision tp / (tp fp); recall tp / (tp fn); fprintf(%s: precision%.2f recall%.2f\n, className{1}, precision, recall); end这段代码里的逐类指标在类别不平衡时比整体准确率有信息量得多。缺陷检测场景中良品可能占 90% 以上一个把所有样本都判为良品的分类器会有 90% 的整体准确率但缺陷类别的召回率是 0。confusionchart 生成的图会直接显示每一类的误判去向比如缺陷被分到良品还是良品被误报成缺陷这两类错误的代价完全不同。4. 关键参数与踩坑调整4.1 四个直接决定精度的训练参数小样本迁移学习不是把训练选项丢给 trainNetwork 就完事下面这张表里的四个参数需要根据结果反复调。参数常见范围小样本推荐调整依据MiniBatchSize8~1288~32小 batch 等价于更多更新步数小样本下泛化更好InitialLearnRate1e-4~1e-23e-4~1e-3超过 1e-3 容易破坏预训练权重MaxEpochs5~5010~20小样本收敛快太多 epoch 开始记忆噪声L2Regularization1e-4~1e-21e-3抑制全连接层在小样本上的过拟合这四个参数是联动的调大 MiniBatchSize 时InitialLearnRate 也应该成比例调大因为梯度更稳定了MaxEpochs 增加时L2Regularization 也要适当加大。一个常见错误是把 MaxEpochs 从 15 调到 50准确率反而下降——模型在 20 轮后就开始把训练集中的噪声样本记住验证集准确率进入下降通道。4.2 冻结层数与数据集域差的匹配冻结哪些层取决于源域和目标域的差距。下面的判断框架在实际项目中可以直接套用。场景冻结策略理由自然光下的工业图像冻结 conv1-conv3边缘纹理通用微调 conv4 之后即可X 光、超声等跨模态图像只冻结 conv1-conv2中间层需要重新适应新纹理每类样本少于 10 张全部冻结只训新层可训练参数越少越安全源域目标域非常接近全部冻结只修分类面风险最小代码实现时直接修改层对象的学习率因子% 按名称冻结指定层 freezeNames {conv1,relu1,norm1,pool1,... conv2,relu2,norm2,pool2}; for i 1:numel(lgraph.Layers) layer lgraph.Layers(i); if isprop(layer, WeightLearnRateFactor) ... any(strcmp(layer.Name, freezeNames)) layer.WeightLearnRateFactor 0; layer.BiasLearnRateFactor 0; end endLayer 对象在 MATLAB 中是 handle 类直接修改属性会同步到 lgraph不需要再执行额外的替换操作。如果当前 MATLAB 版本对某些层属性抛只读错误改用 replaceLayer 复制原层并修改后再替换回去即可。冻结不是删层网络前向传播仍然会计算这些层只是不更新参数。4.3 训练曲线上的三个信号训练曲线小样本下会出现三种典型形态对应的处理方式完全不同。训练 loss 快速下降、验证 loss 持续上升这是过拟合。优先做三件事把 MaxEpochs 砍半、把 L2Regularization 加大到 5e-3、给训练集增加更强的平移和旋转增强。三者可以同时做也可以先只加正则项看效果。train loss 和 val loss 同时持平不下降这是学习率过低或者预训练层被冻得太死。先确认初始学习率在 1e-3 量级然后试着解冻 conv3-conv5 中离分类层最近的一层。更少见的可能是新分类层的学习率因子设成了 1随机初始化层学不动。验证曲线震荡剧烈在小样本验证集上几乎无法避免但不代表训练不正常。每类只有 5 张验证图时每轮验证准确率会随着那几张图的预测结果大幅起落。这种情况下不要急着调学习率先用更大的验证集或多次评估取平均。4.4 一个常被忽略的细节输入归一化很多人从 Python 框架切到 MATLAB 时会自己写一段均值减除的预处理代码这在 MATLAB 里是多余的。alexnet 的第一层 imageInputLayer 自带 Normalization 属性默认是 zerocenter已经在权重中内置了 ImageNet 数据集的均值偏移。augmentedImageDatastore 输出的图像直接进入网络即可再做一次中心化反而会叠加两层均值偏移让 conv1 的响应失衡。5. 工业缺陷检测落地从分类精度到误检控制5.1 缺陷分类与通用图像分类的三个差异通用图像分类追求整体准确率缺陷检测追求的是对缺陷类别的召回率和误检率控制这两个目标在小样本场景下经常冲突。整图分类器只回答“有没有缺陷”不提供位置信息。如果最终要落地到产线上做缺陷定位常见做法是先用分类器做粗筛粗筛通过的样本再送入检测网络或滑窗裁剪。MATLAB 里这一步通常要与 HALCON 等工业视觉工具配合分类器负责批量预筛选HALCON 负责精确定位各用所长。5.2 小样本缺陷数据集的制作要点缺陷检测数据集的第一个问题往往是正样本不足。除了收集更多历史缺陷图最有效的做法是从大图 ROI 中重叠裁剪设裁剪窗口为 227×227步长取窗口边长的 50%同一张缺陷图就能生成多张带一定平移的样本。负样本方面不要只裁良品图要把容易误检的区域——反光、氧化色斑、纹理突变——专门裁出来作为难例。把上一次训练中误检的样本追加到训练集重新训练这个难例挖掘循环通常能做两轮每一轮都能显著压低误检率。下面这段代码展示了重叠裁剪的基本逻辑function patches extractOverlapPatches(img, patchSize, step) [h, w, ~] size(img); k 1; for y 1:step:h-patchSize1 for x 1:step:w-patchSize1 patches(:,:,:,k) imcrop(img, [x y patchSize-1 patchSize-1]); k k 1; end end end注意步长越小生成的样本越多但相邻 patch 之间的重叠也越大相当于对同一缺陷做了多次近乎重复的采样。我一般用步长 110 到 120既能让同一缺陷出现在多个位置又不至于让训练集中出现大量高相关样本。过高的重叠反而会让模型对缺陷位置产生记忆影响泛化。5.3 用 gradCAM 验证模型关注的是缺陷还是背景小样本分类最隐蔽的坑是模型学到了背景特征而不是缺陷本身。特别是当所有缺陷样本都出现在图像固定位置时模型可能只是在识别“这个区域有异常”而没有真正理解缺陷的形态。gradCAM 是最直接的验证工具。% 读取验证集中的一张图 img imresize(readimage(imdsVal, idx), [227 227]); % 找到缺陷类别在输出层中的索引 classNames netTrained.Layers(end).Classes; classIdx find(classNames defect); % 生成梯度加权热力图 activationMap gradCAM(netTrained, img, classIdx); % 叠加显示 imshow(img); hold on; imagesc(activationMap, AlphaData, 0.4); colormap jet;判断标准很简单高亮区域是否和缺陷位置重合。如果高亮集中在缺陷边缘说明模型在利用缺陷的轮廓特征这是健康的。如果高亮散布在背景区域说明模型在偷懒——它很可能把背景纹理或光照特征作为了分类依据。这时候直接加数据增强是没用的先回到数据集把缺陷样本的位置做随机平移或者补充更多不同背景下的负样本。这一条 gradCAM 的输出比训练曲线上的 99% 准确率更能说服产线验收。本文还有配套的精品资源点击获取