工业产线上的缺陷检测最难的从来不是把模型跑起来而是两件事一是缺陷样本太少二是漏检控制不住。这两件事在学术数据集上往往被掩盖因为公开数据集动辄几千张标注图缺陷类型均衡、光照稳定、背景干净。但真实产线不是这样——一条新上的产线可能跑了一周才攒下几十张缺陷图其中还有一半是同一位置同一类型的重复样本而客户验收时盯的指标只有一个漏检率。漏检一个缺陷流到下游可能就是整批退货。这篇内容围绕小样本训练和漏检控制这两条主线展开把从数据准备、模型选型、训练策略到阈值调优、上线验证的完整链路拆开讲。适合已经跑通过YOLO基础训练、准备把模型往产线上推的工程师也适合正在被样本不够和漏检超标两头夹击的算法同学。我会尽量把每一步背后的判断逻辑讲清楚而不是只丢一堆参数让你抄。1. 先搞清楚工业缺陷检测和通用目标检测的差别在哪很多人上手工业缺陷检测的第一反应是不就是目标检测吗YOLO拉起来训就完了。训完发现mAP看着还行一上产线漏检一堆。问题出在没意识到这两类任务的评价重心完全不同。1.1 通用检测看mAP工业检测看漏检率和过杀率通用目标检测追求的是综合指标mAP它把不同IoU阈值下的精度和召回做平均本质上是一个均衡指标。但工业场景里漏检把有缺陷的判成OK和过杀把OK的判成缺陷的代价是极度不对称的。漏检意味着不良品流出可能是客诉、召回、产线停线过杀意味着良品被误判代价是复检人力或者直接报废。所以工业检测真正要盯的是两个数漏检率Miss Rate和过杀率Overkill Rate。这两个指标是一对矛盾体你把判定阈值调低漏检降了但过杀飙升阈值调高过杀降了但漏检又上去了。整个调优过程本质上是在这条权衡曲线上找一个业务能接受的平衡点而不是追求某个单一指标的极值。我见过不少团队拿着mAP 0.9的模型上线结果漏检率还有5%以上原因就是mAP这个平均值把某些难例的糟糕表现给平均掉了。所以从项目一开始评估体系就得换成漏检率/过杀率而不是mAP。1.2 缺陷的形态决定了它和常规目标的本质区别常规目标检测里的目标是有明确语义边界的物体——人、车、猫、狗它们有稳定的形状、纹理和上下文。缺陷不一样缺陷是异常它的形态高度依赖具体工艺划痕类细长、对比度低、方向随机在低分辨率下几乎和背景噪声融为一体脏污类边界模糊、形状不规则和产品本身的纹理容易混淆缺料/缺件类本质是该有的东西没有检测的是缺失而非存在尺寸偏差类往往需要亚像素级的测量精度不是简单的框回归能搞定这意味着缺陷检测不能简单套用通用检测的思路。有些缺陷适合用目标检测框出来有些更适合用异常检测的思路——只学好品分布偏离分布的就判异常。选错范式后面再怎么调都是事倍功半。1.3 小样本在工业场景里是常态而非例外学术数据集里每类几百上千个样本是标配但工业现场新产线刚导入缺陷样本可能只有个位数某些缺陷是偶发的几个月才出现一次客户不愿意提供历史缺陷数据涉及工艺机密标注成本高缺陷区域小、边界模糊标注一致性差所以小样本训练不是可选项是必答题。而小样本带来的直接后果就是模型容易过拟合、泛化差、对阈值极度敏感——这又直接导致漏检控制变得困难。这两件事是连在一起的必须放在一起解决。2. 小样本条件下数据策略比模型结构更重要样本少的时候很多人第一反应是去找更强的模型、更复杂的结构。我的经验是在样本量低于某个阈值时数据侧的投入回报远高于模型侧。你花两周改结构涨的那点指标可能不如花两天把数据增强和采样策略做对。2.1 缺陷样本的采集与标注宁缺毋滥小样本场景下每一个样本都很珍贵所以标注质量比数量更重要。几个实操要点标注一致性优先于标注精度。缺陷边界模糊时不同标注员画的框可能差很多。这时候要制定明确的标注规范比如划痕以可见对比度变化的最外沿为准并且让同一个人标完同一类缺陷。我吃过亏三个人标同一批划痕框的大小差异导致模型学出来的回归目标自相矛盾收敛都困难。负样本OK样本要足够且多样。很多人只盯着缺陷样本数量忽略了OK样本。OK样本的作用是让模型学会什么是正常的如果OK样本太少或者太单一模型会把正常的产品纹理变化也当成缺陷过杀率直接爆炸。经验比例是OK样本至少是缺陷样本的5到10倍而且要覆盖不同的光照、角度、批次。难例负样本要专门收集。那些长得像缺陷但其实OK的样本——比如产品表面的正常纹理、反光点、水渍——必须专门收集并标为负样本。这类样本是降低过杀率的关键也是模型真正学到判别边界的依据。2.2 数据增强不是越多越好要贴合缺陷的物理特性通用检测里常用的随机裁剪、旋转、翻转在缺陷检测里要谨慎使用因为有些增强会破坏缺陷的物理合理性增强方式是否适用说明水平/垂直翻转视情况划痕方向有工艺含义时不能用随机旋转谨慎旋转后缺陷方向失真可能引入错误先验亮度/对比度扰动推荐模拟不同光照提升鲁棒性高斯噪声推荐模拟传感器噪声尤其适合低对比度缺陷马赛克增强谨慎小样本下容易把缺陷拼到不合理位置复制粘贴缺陷推荐把缺陷实例贴到不同背景有效扩充样本复制粘贴Copy-Paste是小样本缺陷检测里性价比最高的增强之一。做法是把标注好的缺陷区域抠出来随机贴到其他OK样本上生成新的缺陷样本。这样能在不增加标注成本的前提下显著扩充缺陷样本量。但要注意贴合位置要合理——缺陷不能贴到物理上不可能出现的位置否则模型学到错误的空间先验。2.3 用异常检测的思路补充小样本检测当缺陷样本实在少到个位数时纯监督检测很难训好。这时候可以引入异常检测的思路作为补充只用OK样本训练一个正常分布模型推理时偏离分布的判为异常。常见的做法有基于特征重建的如自编码器、GAN重建也有基于特征分布的如PatchCore、PaDiM这类用预训练特征做密度估计的方法。这类方法的优势是只需要OK样本冷启动快劣势是对缺陷类型没有判别能力只能告诉你这里不对劲不能告诉你是什么缺陷。实操中我倾向于混合方案用异常检测做粗筛把可疑区域框出来再用小样本监督检测模型做精分类。这样既解决了冷启动问题又保留了分类能力。异常检测负责召回监督模型负责精度分工明确。3. 模型选型与训练策略小样本下怎么让YOLO不崩YOLO系列因为速度快、部署方便是工业检测的主力选择。但小样本直接训YOLO很容易遇到BN崩溃、过拟合、loss不收敛这些问题。这一节讲怎么把YOLO在小样本场景下调教好。3.1 预训练权重是小样本的生命线小样本训练第一条铁律必须用预训练权重而且要用和你的任务域接近的权重。从随机初始化开始训几十张图根本训不出东西。YOLO的预训练模型通常在COCO或ImageNet上训过这些权重的浅层特征边缘、纹理、颜色是通用的可以直接迁移。深层特征和具体类别相关需要微调。实操建议冻结策略小样本时先冻结backbone的前若干层只训head和后面的层训几个epoch后再解冻全部微调。这样能防止浅层通用特征被少量数据带偏。学习率微调时学习率要比从头训练小一个数量级通常1e-4到1e-5起步。学习率太大预训练权重几下就被冲没了。权重选择如果有同域的大数据集比如同行业的其他产品缺陷数据优先用那个训出来的权重做初始化效果比通用COCO权重好很多。3.2 BN层是小样本训练最容易崩的地方BatchNorm在batch size小的时候统计量估计不准running mean和running variance会剧烈波动导致训练不稳定甚至崩溃。小样本场景batch size往往开不大显存限制或者样本本来就少BN问题尤其突出。几个应对方案按推荐程度排序换用GroupNorm或SyncBNGroupNorm不依赖batch统计小batch下更稳。如果多卡训练SyncBN能跨卡同步统计量等效增大batch。冻结BN的running统计设momentum很小或者直接冻结让统计量保持预训练时的值。适合微调场景。梯度累积用小batch前向累积多个batch的梯度再更新等效增大batch size。这是最省事的办法不改模型结构。调大momentum让running统计更快跟上当前数据分布但太大会震荡要试。我一般先用梯度累积把等效batch拉到16以上如果还崩再考虑换Norm层。实测下来梯度累积能解决大部分小样本BN崩溃问题。3.3 损失函数小样本下要重新配比YOLO的损失一般由三部分组成分类损失、框回归损失、目标置信度损失。小样本场景下这三者的平衡要重新考虑。分类损失如果类别极度不均衡比如OK样本远多于缺陷样本要用focal loss或者类别加权否则模型会倾向于全预测成多数类。缺陷检测里正样本缺陷往往是少数加权系数要根据实际比例调。框回归损失小样本下框回归容易过拟合到训练集的框分布。CIoU、DIoU这些考虑了中心点距离和长宽比的损失比单纯的IoU收敛更稳。如果缺陷框普遍很小要注意小目标的回归权重。置信度损失这个直接关系到漏检。置信度阈值定在哪里决定了多少缺陷被漏掉。训练时可以用label smoothing防止模型过度自信推理时再通过阈值扫描找最佳工作点。一个实操技巧把分类和回归解耦训练。先训一个只管有没有缺陷的二分类模型召回优先再训一个只管缺陷在哪、是什么的模型。解耦后每个任务的数据需求更聚焦小样本下更容易训好。3.4 训练轮次与早停小样本极易过拟合小样本训练最典型的曲线是训练loss一路下降验证loss先降后升升的那一点就是过拟合的开始。所以必须留验证集哪怕只有十几张图也要留出来监控过拟合早停要果断验证指标连续几个epoch不提升就停别舍不得数据量越少训练轮次越少几十张图可能几十个epoch就够了训几百个epoch纯属过拟合我一般会同时跑几个不同轮次的checkpoint最后在验证集上选而不是只留最后一个。4. 漏检控制的完整链路从阈值到后处理模型训完只是开始漏检控制是一整套工程手段的组合。这一节把从推理阈值到后处理的每个环节拆开讲。4.1 置信度阈值扫描找到业务可接受的工作点推理时每个检测框都有一个置信度分数高于阈值的才输出。阈值定得高漏检多定得低过杀多。所以阈值不是拍脑袋定的要扫出来。做法是在验证集最好包含难例上把阈值从0.05到0.95按步长扫描每个阈值下统计漏检率和过杀率画出权衡曲线类似ROC但更直接。然后根据业务能接受的漏检率上限反推阈值。注意阈值扫描必须在和产线分布一致的验证集上做。用训练集扫出来的阈值上线必然翻车因为训练集是模型见过的置信度普遍偏高。实操中还有个细节不同缺陷类型的最优阈值可能不同。划痕和脏污的置信度分布不一样用一个全局阈值会顾此失彼。可以对每类缺陷单独扫阈值推理时分类别应用。4.2 多模型集成用冗余换召回单模型总有盲区集成是降低漏检的有效手段。常见做法多尺度集成同一张图用不同输入分辨率推理结果融合。小缺陷在高分辨率下更容易检出大缺陷在低分辨率下也稳。多模型集成训几个结构不同或初始化不同的模型推理时投票或取并集。取并集能显著降漏检但过杀会上升要配合后处理。TTA测试时增强对输入做翻转、多尺度等变换多次推理后融合。代价是推理时间成倍增加产线节拍紧的话要权衡。集成的本质是用计算资源换召回。产线如果节拍允许多尺度多模型集成能把漏检压得很低。4.3 后处理把漏检从后处理环节捞回来很多漏检不是模型没检出而是被后处理滤掉了。NMS非极大值抑制是重灾区两个重叠的缺陷框NMS可能把置信度低的那个抑制掉如果那个恰好是真缺陷就漏了。针对漏检的后处理优化调低NMS的IoU阈值让重叠框更容易同时保留减少误抑制。但太低会导致同一缺陷出多个框过杀上升。用Soft-NMS替代NMS不直接抑制而是降低重叠框的分数保留更多候选。分类别NMS不同类别的框不互相抑制避免跨类误抑制。小目标保护对面积小于某阈值的框降低抑制力度因为小缺陷更容易被误抑制。4.4 难例回流让漏检的样本重新进入训练上线后漏检的样本是最宝贵的训练数据。要建立回流机制产线端记录所有被判OK但后续发现缺陷的样本可能来自下游复检或客诉定期把这些难例加入训练集重新训练或增量训练重点标注这些难例它们代表了模型当前的盲区这个闭环跑起来模型会越用越准。很多团队模型上线就不管了漏检率一直降不下来就是因为没有回流机制。5. 上线验证与持续监控别让实验室指标骗了你实验室验证集上的指标和产线实际表现往往有差距这个差距来自数据分布偏移、光照变化、产品批次差异等。上线验证和持续监控是最后一道防线。5.1 上线前的影子测试正式接管产线判定之前先做影子测试模型在产线旁路运行只记录判定结果不实际控制分拣。同时人工全检把模型判定和人工判定逐一对齐。影子测试要跑够样本量至少覆盖几个班次、不同批次的产品。重点看模型判OK但人工判缺陷的漏检有多少都是什么类型模型判缺陷但人工判OK的过杀有多少集中在哪些区域有没有系统性的偏差比如某个光照条件下整体偏严或偏松影子测试跑一两周漏检率和过杀率稳定在业务可接受范围再切正式运行。5.2 上线后的指标监控上线不是终点要持续监控几个关键指标监控指标含义异常处理漏检率缺陷被判OK的比例超阈值立即告警回流难例过杀率OK被判缺陷的比例过高影响产能需调阈值置信度分布检测框分数的分布分布漂移说明数据分布变了推理耗时单张推理时间突增可能是硬件或输入异常输入图像质量亮度、清晰度质量下降会直接导致漏检置信度分布漂移是个很好的早期信号。如果某天开始检测框的置信度整体下降说明输入数据的分布变了可能是换了批次、光照变了、镜头脏了这时候即使漏检率还没超标也要提前介入。5.3 数据分布漂移的应对产线的数据分布不是一成不变的换批次、换供应商、设备老化、季节变化都会导致分布漂移。应对策略定期用新数据评估每周或每月用最新产线数据评估模型看指标有没有退化增量训练把新数据加入训练集做增量微调让模型跟上分布变化设置漂移告警用置信度分布、特征分布等做漂移检测超阈值触发重新评估我踩过的坑一个模型上线时漏检率0.5%三个月后涨到3%原因是换了原材料供应商产品表面纹理变了模型把新纹理当成了正常。如果当时有漂移监控能提前发现。6. 几个实操中反复踩的坑和应对这一节把前面散落的经验集中一下都是实际项目里反复遇到的问题。6.1 标注框大小不一致导致回归学不好前面提过这里展开说。缺陷边界模糊时不同标注员、甚至同一标注员不同时间画的框都可能差很多。模型学回归时同一个缺陷的回归目标不一致loss降不下去。应对制定像素级的标注规范用标注工具固定缩放比例定期做标注一致性检查抽检同一批图让不同人标算IoU。一致性低于0.7就要重新培训标注规范。6.2 验证集和产线分布不一致最常见的翻车原因。验证集是从训练数据里随机分的和训练集同分布但产线数据可能来自不同时间段、不同批次。结果验证集指标很好上线就崩。应对验证集要独立采集最好来自不同时间段和批次模拟真实的分布偏移。宁可验证集小一点也要保证它和训练集有分布差异这样才能真实反映泛化能力。6.3 过度依赖单一阈值前面讲过分类别阈值这里补充阈值应该是动态的。产线光照变化、产品批次变化时最优阈值会漂移。可以设置基于图像质量亮度、对比度的动态阈值调整或者定期用新数据重新扫阈值。6.4 忽略推理速度对节拍的影响工业产线节拍很紧推理速度不达标再高的精度也没用。集成、TTA、大分辨率这些提召回的手段都会增加推理时间。要在精度和速度之间找平衡先用轻量模型多尺度集成看能不能达标不行再上大模型但要评估硬件是否支持模型量化、TensorRT加速是常规手段能显著提速6.5 漏检控制的优先级要明确最后一点也是最重要的漏检和过杀的优先级必须在项目开始就明确。如果业务方说漏检一个都不行那就要接受高过杀率和高复检成本如果说过杀太多产线受不了那漏检率就得放宽。这个优先级决定了后面所有阈值、集成、后处理策略的方向。最怕的是业务方既要低漏检又要低过杀还不给加资源那这个项目从开始就注定拧巴。把优先级定清楚把评估体系换成漏检率/过杀率把数据回流闭环跑起来小样本缺陷检测的漏检控制就有了可落地的方法论。剩下的就是在这个框架里不断迭代调优没有一劳永逸的银弹但有可以持续改进的工程路径。