简介面向Python毕业设计学生与深度学习视觉方向研究者这份源码提供基于深度学习的表面缺陷检测与可视化监管系统完整实现聚焦工业质检中缺陷识别与监管看板搭建的课题需求。包内共241个文件大小约163.69MB整体按后端逻辑、前端界面、数据集、模型文件等模块组织核心19个Python脚本负责模型训练、推理与后端服务大量bmp、png、jpg图像作为实验样本xml标注文件辅助数据集理解html/css/js与ui文件构建可视化监管前端另有pth模型权重、yaml配置及ipynb运行记录训练好的模型可直接加载执行推理。已有661人学习/下载。代码按毕业设计流程组织下载后可直接运行适合快速复现深度学习检测模型掌握缺陷定位、分类与可视化监控的实现思路压缩包内的ipynb运行记录与训练事件文件亦便于复盘模型迭代和调参过程。1. 表面缺陷检测为什么值得做成一个毕业设计一个冷知识大多数工厂的质检线到现在还是靠人眼在看。电子产品外壳上的划痕、锂电池表面的凹坑、钢板上的麻点这些缺陷往往只有几个像素宽工人盯着传送带看几个小时后必然疲劳。用深度学习做表面缺陷检测本质上是用卷积神经网络把人眼的模式识别能力搬到流水线上。这个题目能成为毕业设计的热门是因为它同时踩中了三个真需求算法有公开数据集可验证模型可以跑通训练和推理可视化监管系统又能展示工程交付能力。整套方案的核心链路其实很短相机采集图像深度学习模型输出缺陷位置和类别可视化看板把结果实时展示出来。但真正落地时大部分时间会花在数据标注、模型选型和误检调优上。本博文按照这个顺序展开从问题定义到部署验证给出可复现的工程路径适合需要在一学期内完成闭环的读者。无论你最终是拿官方源码包做二次开发还是完全自己写这条路都绕不开。2. 检测网络怎么选从分类到目标检测的边界先看技术选型。表面缺陷检测听起来都是“找问题”但实际任务类型完全不同。有的场景只需要判断产品是否合格这是二分类有的需要给出缺陷所在区域这是目标检测如果连缺陷的形状都要分析那得走上实例分割。如果把分类模型硬套在定位需求上就得用滑窗或图像分块这会成倍增加推理耗时。我的建议是先看生产环境和检测标准只需要报警还是必须反馈缺陷位置现在大多数制造现场已经要求输出位置坐标所以目标检测是主流。2.1 目标检测的两条路线两阶段与单阶段两阶段模型以 Faster R-CNN 为代表第一步用区域提议网络生成候选框第二步对候选框分类和回归。它的优势在小目标密集场景下更明显但训练复杂、推理慢。单阶段模型以 YOLO 和 SSD 为主直接在特征图上回归边界框和类别速度快一个数量级。两者在公开数据集上的差距已经不大但真实产线上缺陷经常只有几十个像素单阶段模型容易漏检。我在实际项目中会先用 YOLOv8 跑基线如果小目标漏检严重再换 Faster R-CNN。“深度学习cnn”这个标签在这里不是空话上面两种路线都用卷积骨干网络提取特征区别只在于如何在特征图上做定位和分类。很多开源“源码”项目为了演示效果直接把 YOLO 训练脚本放到 web 界面里这其实是非常危险的如果不懂检测头的工作原理连 loss 为什么下降不了都很难排查。2.2 数据分布和增强策略决定模型上限无论选哪种网络训练数据的质量决定上限。缺陷检测数据集往往存在严重的类别不平衡比如“划伤”出现频率是“气泡”的十倍。如果直接拿原始分布训练模型会倾向于把气泡漏掉。常见做法是进行类别重采样或者使用 Focal Loss 这样的损失函数。另外标注框的大小分布也很关键我一般会统计一下所有标注框的宽高比如果多数框小于图像尺寸的 5%就要考虑在输入端做分块推理或者增加小目标检测层。在准备训练数据时我通常会把图像缩放到 640x640 或 1280x1280注意保持长宽比并使用灰边填充而不是拉伸。拉伸会改变缺陷的形状导致边界框回归不稳定。代码上可以用 letterbox 函数OpenCV 和 Pillow 都容易实现。这里有一个容易忽略的细节标注坐标必须跟着缩放比例换算否则模型会在训练时看到错误的目标框损失降不下去。2.3 常用网络与适用场景对照表下面这张表是当前工程界比较常用的组合注意这里的 GPU 推理时间是基于 640x640 输入、TensorRT 加速后的参考值不同硬件差异较大。模型类型小目标能力推理速度ms适用场景YOLOv8s单阶段中5-10产线高速检测Faster R-CNN两阶段强30-60高精度离线抽检RT-DETR单阶段中10-15需要端到端部署RetinaNet单阶段中15-25正负样本极不均Mask R-CNN实例分割强40-80需要缺陷轮廓分析选型时还要看有没有现成的预训练权重。工业缺陷图与 ImageNet 分布差异较大但依然建议用 COCO 上训练好的权重做初始化迁移学习能显著减少训练时间。我习惯把骨干网络冻结前若干层只在数据量足够的条件下解冻全部层避免过拟合。这里的另一个参考点是显存大小两阶段模型即使输入 640x640batch size 为 2 也可能吃掉 8GB 以上的显存这会影响后续可视化监管系统的部署位置。3. 用 PyTorch 训练一个缺陷检测模型的最小闭环说完了选型下一步是把选型变成能跑的代码。我用 PyTorch 作为例子因为它在调试和自定义方面比 TensorFlow 方便。这里假设你已经准备好了标注好的数据集格式为 VOC 的 XML。如果只有 YOLO 的 txt 标注转换方法也很直接读取归一化的中心坐标和宽高再乘回图像尺寸即可。这个环节也决定了后续可视化监管系统能展示哪些信息模型只会输出它被训练出来的框和类别标注错了看板上的图表就是错的。3.1 数据加载把标注文件读进 Dataset通常缺陷数据集不大几千张图算多的。我会把数据组织成 images 和 annotations 两个目录每个 XML 文件名与图片名一致。下面是一个最简的 Dataset 实现顺手实现了训练时需要的随机翻转增强。import torch import torchvision from torch.utils.data import Dataset import xml.etree.ElementTree as ET from PIL import Image import os class DefectDataset(Dataset): def __init__(self, img_dir, ann_dir, transformsNone): self.img_dir img_dir self.ann_dir ann_dir self.transforms transforms self.img_files [f for f in os.listdir(img_dir) if f.endswith((.jpg, .png))] def __len__(self): return len(self.img_files) def __getitem__(self, idx): img_name self.img_files[idx] img_path os.path.join(self.img_dir, img_name) ann_path os.path.join(self.ann_dir, img_name.replace(.jpg, .xml).replace(.png, .xml)) image Image.open(img_path).convert(RGB) boxes, labels [], [] tree ET.parse(ann_path) for obj in tree.findall(object): labels.append(int(obj.find(name).text)) bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) boxes.append([xmin, ymin, xmax, ymax]) boxes torch.as_tensor(boxes, dtypetorch.float32) labels torch.as_tensor(labels, dtypetorch.int64) if self.transforms is not None: image, boxes self.transforms(image, boxes) target { boxes: boxes, labels: labels, } return image, target这里我故意把类别读成数字实际工程中需要维护一个 id 到类名的映射表比如{1: scratch, 2: dent}。XML 中的name标签不一定与数字对应所以在 dataset 初始化时传一个字典进来会更稳妥。另一个注意点是boxes的类型必须是float32labels必须是int64PyTorch 官方检测模型对这组数据格式有硬性校验。如果你在训练时遇到 “RuntimeError:Expected a floating point tensor” 之类的报错八成就是这里类型写错了。3.2 模型定义直接使用 torchvision 内置的 Faster R-CNNtorchvision 提供了很多现成的检测模型最省事的方法是使用fasterrcnn_resnet50_fpn的预训练权重然后替换分类头。缺陷种类通常不会超过十种所以输出特征维数改成类别数加背景类。import torchvision model torchvision.models.detection.fasterrcnn_resnet50_fpn( weightstorchvision.models.detection.FasterRCNN_ResNet50_FPN_Weights.DEFAULT ) num_classes 4 # 背景 3 类缺陷 in_features model.roi_heads.box_predictor.cls_score.in_features model.roi_heads.box_predictor torchvision.models.detection.faster_rcnn.FastRCNNPredictor( in_features, num_classes )这里的关键参数是num_classes要包含背景类也就是缺陷类别数 1。很多人第一次跑的时候只写缺陷类别数导致训练时标签越界。替换分类头之后已经下载的预训练权重中关于分类器的部分就失效了但骨干网络和区域提议网络仍然保留因此模型收敛速度依然比从零训练快很多。如果选用 YOLOv8 等需要额外安装库的模型还要注意 python 环境版本与 ultralytics 依赖的匹配不然可能花很多时间在解决 CUDA 库的依赖冲突上。3.3 训练脚本与效果不佳时的调整方向下面是一个极简训练循环省略了验证部分只保留结构。损失由 RPN 分类损失、RPN 回归损失、最终分类损失和最终回归损失四部分相加组成。optimizer torch.optim.SGD(model.parameters(), lr0.005, momentum0.9, weight_decay0.0005) lr_scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size8, gamma0.1) model.train() for epoch in range(20): for images, targets in dataloader: images [img.to(device) for img in images] targets [{k: v.to(device) for k, v in t.items()} for t in targets] loss_dict model(images, targets) loss sum(loss for loss in loss_dict.values()) optimizer.zero_grad() loss.backward() optimizer.step() lr_scheduler.step()超参数这里有几个容易踩的坑。lr不要直接抄检测模型的默认值我一般先在 0.005 附近试两个 epoch如果 loss 不降就改成 0.001。momentum和weight_decay保持上述值即可不需要调得很精确。step_size取决于数据集大小上百万张图像时还可以每 12 个 epoch 衰减一次。如果训练完之后发现验证集 mAP 很低第一步不是换模型而是检查数据。我会把模型预测的框画在图上看是不是标注框本身有偏差。常见问题包括XML 坐标单位与图像分辨率不一致、数据集里混入了没有缺陷的纯背景图、负样本占比过高等。这些都会让 loss 无法收敛到理想范围。训练完成之后最好把模型参数保存成.pth文件同时导出一份针对验证集的检测结果 JSON方便后续可视化监管系统直接读取。4. 可视化监管系统从推理结果到 Web 可视化大屏模型能跑了但毕业设计里“监管”二字要求结果能被人看到。我不建议在这个环节堆砌复杂的前端框架用 Flask 提供接口Vue 或原生 HTML 都行。关键是把推理服务与数据展示层解耦这样模型更新时不需要重启整个 Web 应用。可视化图表部分也不要从零写ECharts 这类现成库足够应对产线监控的大部分需求。4.1 推理 API输出结构设计比接口路径更重要以一次检测为例客户端上传图片服务端返回缺陷列表、置信度和检测耗时。JSON 结构建议一次性包含前端要展示的所有字段避免前端二次计算。from flask import Flask, request, jsonify from PIL import Image import io, time app Flask(__name__) app.route(/predict, methods[POST]) def predict(): file request.files[image] image Image.open(file.stream).convert(RGB) start time.time() result model_infer(image) # 返回 (boxes, labels, scores) boxes, labels, scores result inftime (time.time() - start) * 1000 defects [] for box, label, score in zip(boxes, labels, scores): defects.append({ bbox: [round(float(v), 2) for v in box], class: label, confidence: round(float(score), 4) }) return jsonify({ status: success, inference_ms: round(inftime, 2), defect_count: len(defects), defects: defects }) if __name__ __main__: app.run(host0.0.0.0, port5000)上面的model_infer是推理封装函数内部要做图像尺寸调整和 Tensor 格式转换。bbox需要从模型输出的绝对坐标转成前端画框用的相对坐标比如除以图像宽高否则前端拿到不同分辨率的图片时框的位置会偏移。confidence应该保留四位小数因为前端可视化大屏会直接显示这个数字长度统一不容易造成布局跳动。这里有个必须处理的细节当模型没有检测到任何缺陷时返回的defects数组应该是空数组而不是 null否则前端的图表库会报错。4.2 可视化监管系统的数据流设计可视化监管系统的核心不是画图表而是保证数据能持续更新。产线相机一般不会只拍一张图而是每几秒推一张所以需要一个缓存层来处理高频写入。这里我常用 Redis 做最近一小时的趋势数据用 MySQL 做历史归档。Redis 的 List 结构非常适合保存最近 N 次检测结果每次新增就裁剪列表长度这样前端请求趋势图时只需要LRANGE一次。下面这个表格说明了两个存储的职责边界。存储数据读写频率保留时长Redis最近缺陷计数、平均置信度、当前批次状态秒级写入毫秒级读取1 小时MySQL每张图像的缺陷明细、操作员处理记录秒级写入按天查询永久4.3 前端图表从数据到可视化看板前端我一般用 ECharts它已经内置了雷达图、折线图、热力图组件对缺陷检测场景够用。关键指标可以设计如下缺陷总数、一次通过率、缺陷类型占比、以及最近半小时的缺陷数量折线图。这几个图表从同一个/api/statistics接口拉取数据接口内部同时查询 Redis 和 MySQL再把结果组装成前端友好的结构。async function loadStatistics() { const res await fetch(/api/statistics); const data await res.json(); trendChart.setOption({ xAxis: { data: data.times }, series: [{ data: data.counts, type: line, smooth: true }] }); typePie.setOption({ series: [{ type: pie, data: data.types.map((t) ({ name: t.name, value: t.value })) }] }); } setInterval(loadStatistics, 5000);5 秒轮询是可视化大屏的常用节奏太频繁会让 Redis 的压力变大太慢又看不出实时变化。如果检测频率很高可以改用 WebSocket但毕业设计场景下 5 秒足够。可视化大屏通常需要部署在展厅或厂区的壁挂屏幕上分辨率可能是 1920x1080 或 2560x1440。常见做法是使用 Rem 配合flexible布局或者直接用vw/vh单位确保图表跟随屏幕缩放。我习惯把 ECharts 容器的尺寸设置成百分比然后监听 window.resize 调用chart.resize()。另外当缺陷数量超过阈值时可以通过 WebSocket 通知前端弹出报警弹窗这个逻辑可以在后端统计接口里加一个简单判断不必依赖额外的消息队列。5. 部署时的四个验证技巧从误检率到模型压缩训练完的模型不能直接上产线先做离线验证。我一般会准备一个没参与训练的真实场景数据集把模型输出的缺陷框画到原图上然后用视频播放器按 0.5 倍速逐帧看。这个过程能发现很多指标看不出问题比如背景纹理被识别成缺陷、低对比度缺陷被漏掉。如果用官方源码包训练这一步尤其重要因为你不知道作者在数据预处理里埋了什么特殊设置。5.1 用混淆矩阵定位误检来源分类问题看混淆矩阵很容易理解检测问题可以退化为“图像级”是否包含缺陷。把每个图片的预测结果与人工标注比较统计正常样本被误报为缺陷的数量。如果误报集中在某些固定区域说明训练数据里该区域的背景样本不足需要补充负样本。误检率是可视化监管系统需要重点展示的指标可以在看板上单独做一个“最近异常图像”列表方便人工复核。5.2 推理加速ONNX 与 TensorRT 的取舍我常用的推理链路是 PyTorch 转 ONNX再根据 GPU 情况转 TensorRT。转换时最容易踩的坑是动态输入尺寸。产线相机分辨率固定的话我直接将 ONNX 的输入尺寸固定为 640x640这样 TensorRT 优化效果最好。如果必须支持不同尺寸就需要将opset版本对应到 17 以上并在转换时提供动态轴的样例。python -m onnxsim 模型.onnx 模型_sim.onnx trtexec --onnx模型_sim.onnx --fp16 --saveEngine模型.trtonnxsim可以简化模型结构去掉冗余的 reshape 和 gather 操作trtexec加上--fp16能把显存占用和推理时延同时降一半左右。如果模型里包含自定义算子PyTorch 转 ONNX 时可能会失败建议先用 torchinfo 打印模型结构把涉及特殊操作的层替换为标准卷积。这一步做完可视化监管系统里的推理耗时应该稳定在 20ms 左右而不是训练时的几百毫秒。5.3 阈值调整与 A/B 验证最后一步是确定置信度阈值。大多数人不注意这个参数直接采用默认的 0.5但缺陷检测场景正常样本占绝大多数阈值过低会产生大量误报。我一般会把置信度从 0.3 到 0.8 每隔 0.05 跑一遍验证集绘制准确率和召回率曲线选择曲线拐点对应的阈值。线上更新模型时先对同一批历史图片跑一遍新旧模型比较误检数量和漏检坐标的差异确认没有 regression 后再灰度发布。只有把阈值和推理引擎都固化到部署脚本里可视化监管系统上的数据才是真正可信的。本文还有配套的精品资源点击获取