简介面向毕业设计与课程作业的深度学习中文车牌识别项目覆盖车牌检测、字符识别、模型推理到系统部署的完整流程适合计算机视觉初学者及希望快速搭建车牌识别系统的学生参考。压缩包共179个文件主要由Python训练脚本、C推理代码、头文件、XML配置、图像样本、Android工程文件及演示APK等组成整体约32.91MB目录层级清晰便于按数据集、模型、预处理、后处理、评估与文档模块检索。已有122人学习下载。包内不仅提供MNN推理引擎封装和HyperLPR相关SDK源码还包含gradle构建脚本、Dockerfile与多端部署支持完整呈现从离线模型推理到移动端落地的技术链路。通过该项目可深入理解卷积神经网络的检测识别原理掌握C/Python混合编程、模型量化与跨平台部署技巧对完成高水准毕业设计或课程作业具有直接的参考价值。1. 为什么“中文车牌识别”不能直接套用通用OCR“基于深度学习高性能中文车牌识别”这类压缩包在毕设和课程作业里几乎是个常青选题数据集有公开的CCPD模型有YOLO和CRNN两条成熟主线指标能写得很漂亮。但真正动手做的人会很快发现它和“通用OCR”的差异比想象中大得多。通用OCR面对的是相对规整的印刷体、多行文本和完整语义而中文车牌检测面临的是小目标、极端光照、倾斜畸变、双行车牌以及省份简称加字母数字混排带来的字符混淆问题。把OCR引擎直接搬过来往往在前处理阶段就吃亏——车牌在整幅图里可能只占几百个像素检测框稍微偏一点后面的识别结果立刻崩掉。这篇博文按我自己做毕设和带课程项目的思路展开先讲数据和增强策略再分别走检测、识别两条网络路线最后落到性能和部署。目标是把“准确率98%”这类大话换成可复现的工程细节数据集怎么切、框怎么标、字符集怎么定义、训练参数怎么设、哪些坑是CCPD独有的。这个技术点在深度学习项目里属于中等偏上的复杂度适合作为毕设和课程大作业因为每一层都有独立可验证的指标写论文时素材也够。“高性能”这三个字则意味着不能只做完还要在推理速度和模型体积上做取舍这一层成熟方案一般是轻量化骨干加量化导出。2. 数据准备CCPD的切分、清洗与中文车牌增强策略2.1 CCPD数据集的命名规则与三向划分中文车牌识别目前从业界到毕设用得最多的公开数据源是CCPDChinese City Parking Dataset。它采集自真实停车场监控覆盖了绿牌新能源、蓝牌燃油车、黄牌大型车以及倾斜、模糊、夜间等难例。一个容易被忽略的细节是CCPD的文件名本身就是一个标注文件。以“025-95_113-154383_386473-386473_177454_154383_363402-0_0_22_27_27_33_16-37-15.jpg”为例它按次序编码了车牌区域坐标、四个角点、字符内容等信息。用脚本解析文件名就能得到检测框和字符序列省去大量标注时间。常见做法是取CCPD2020或CCPD-Green作为主数据源按7:2:1划分train/val/test。但需要提醒的是CCPD原始图片分辨率普遍在1000x800以上如果内存和训练时间有限建议先把图片统一缩放到720x416或640x640再写入训练列表。划分时需要保证同一张车牌的多个采样不会同时出现在训练集和验证集里否则验证集指标虚高。CCPD虽然不提供官方类别索引但文件名里已经包含车牌类型码可以做分层采样让新能源绿牌在三个集合里比例一致。2.1.1 文件名解析与训练清单生成把CCPD文件名转成检测和识别两个任务的训练标注一段Python脚本就能完成。这里给出一个最小实现后续数据清洗也基于这个结构继续扩展import os, re, random def parse_ccpd_filename(fname): parts fname.replace(.jpg, ).split(-) # parts[2]是左上右下两个点parts[3]是四个角点parts[4]是字符编号 boxes [int(x) for x in parts[2].split()] chars parts[4].split(_) return { x_min: boxes[0], y_min: boxes[1], x_max: boxes[2], y_max: boxes[3], label: .join([chr(65 int(c)) for c in chars if int(c) 26]), }这段代码的chr(65 int(c))把字符编号映射到字母A-Z数字部分在CCPD里是直接以数字编号存储在后面的字段真实标注时还会用到省份简称映射表。更严谨的做法是把CCPD官方提供的字符表下载后作为字典文件而不是自己推导编号含义。生成训练清单时同时输出检测任务的YOLO格式txt归一化的cx, cy, w, h和识别任务的车牌字符串文件两个任务共用同一个图片ID作为关联主键。2.1.2 容易出现的三个清洗问题第一是重复样本。CCPD在不同年份的版本里存在少量相同车牌、相同场景的图片直接用哈希去重可以避免训练集和验证集之间的数据泄漏。第二是严重模糊样本这类样本人眼能勉强辨认但深度学习模型反复训练也学不到有效特征建议做一次人工抽检把模糊度高的图直接删掉。第三是标注错误样本。CCPD的字符标注整体质量高但个别图片由于强反光或遮挡会导致字符编号写错清洗时做一次字符长度校验即可因为正常中文车牌要么是7位蓝牌要么是8位绿牌例外情况直接剔除。2.2 中文车牌的专属数据增强保持字符可读性的三条红线通用检测里的Mosaic、随机裁剪、旋转直接套到车牌照搬不客气——因为车牌是高度结构化的对象字符间距、比例和顺序携带核心信息。许多毕设项目正确率上不去不是网络问题而是增强把字符破坏得太狠。我一般会把增强策略分成几何类、颜色类和遮挡类三组并控制强度上限。增强类型常用操作强度上限说明几何类透视变换、随机旋转、随机裁剪旋转±15度透视幅度≤0.2需要同时变换检测框角点颜色类HSV抖动、亮度对比度、灰度化亮度因子0.6~1.4模拟逆光和夜间遮挡类随机矩形遮挡、高斯模糊遮挡宽度不超过车牌宽度的15%模拟泥点和污渍一个非常关键的细节是车牌识别是OCR任务字符间有严格的左右顺序语义垂直翻转会直接破坏这种顺序一般不用于车牌场景。水平翻转也只在蓝牌数字对称度较高的样本上有意义绿牌因为省份简称在左侧翻转后语义反而不成立。实际训练时建议只保留透视变换和亮度扰动其他增强设为小概率。2.2.1 用Albumentations实现一套可复用的增强管线Albumentations是深度学习数据增强里速度较快的库和PyTorch的Dataset可以无缝衔接。下面是一套针对CCPD的增强配置import albumentations as A train_aug A.Compose([ A.LongestMaxSize(max_size720), A.PadIfNeeded(min_height416, min_width416, border_mode0), A.RandomBrightnessContrast(brightness_limit0.15, contrast_limit0.15, p0.6), A.HueSaturationValue(hue_shift_limit5, sat_shift_limit15, val_shift_limit10, p0.3), A.Perspective(scale(0.03, 0.08), fit_outputTrue, p0.4), A.OneOf([ A.GaussNoise(var_limit(10.0, 30.0), p0.3), A.GaussianBlur(blur_limit(3, 5), p0.3), ], p0.2), ])这份配置里LongestMaxSize先把图片缩放到合适尺寸PadIfNeeded补足到416的倍数这是后续YOLO训练的必要前提。Perspective模拟停车场的视角畸变这是真实路面场景里检测框最容易翻车的环节。注意Hue的扰动幅度被压得很低——车牌颜色是重要的先验信息蓝色、绿色、黄色本身可以辅助检测器筛选候选框过强的色相偏移会破坏这个线索。2.3 字符集与标签编码中文车牌识别的“词表”设计中文车牌识别的字符集不是简单的26字母加10数字它有两个特殊之处一是省份简称全国31个省级行政区只有少数几个字容易混淆比如“赣”和“干”但字典必须完整二是新能源绿牌多一位字符导致序列长度不固定。词表设计直接决定分类头的输出维度常见设计是省份简称31个 字母24个不含I和O防止和数字1、0混淆 数字10个合计65类序列最大长度8。有了词表后识别任务的标签要从字符串转成定长向量。我习惯用PAD、SOS、EOS三个特殊token补齐序列长度这样在训练时可以直接用交叉熵损失而不需要引入CTC。这个方案的缺点是车牌字符数上限被写死遇到特殊车牌需要改代码重新训练优点是训练更稳定推理时不需要解码算法课程设计和毕设的代码量更少。商用系统通常直接用CTC后面识别网络部分会细说。3. 检测器选型用YOLOv8完成中文车牌的高精度定位3.1 为什么在车牌场景选YOLO而不是Faster R-CNN车牌检测的难点不是类别多而是目标小、背景复杂。Faster R-CNN的两阶段结构在精度上有优势但推理速度慢且在小目标上的优势在建了FPN特征金字塔后的单阶段检测器面前不明显。YOLOv8作为当前深度学习目标检测里上手成本最低的框架训练脚本和部署生态都很成熟CCPD数据集的格式也有人做好了转换对毕设和课程作业来说是最靠谱的路线。另外YOLOv8在COCO上预训练的权重可以直接迁移到车牌检测任务骨干网络对纹理边缘的敏感度是通用的。在YOLOv8的各个规格里我一般推荐用n或s规模因为车牌字符识别是下一步的主任务检测器只需要提供足够准确的框不需要很大模型。n规格在GPU上可以跑到接近实时的速度课程答辩现场演示时不会被帧率拖累。如果场景里还有远距离小目标可以切到m规格但训练时间和显存占用都会上升需要自行权衡。3.2 从CCPD标注到YOLO格式的转换脚本YOLOv8训练需要每张图片对应同名txt文件每行格式为“class x_center y_center width height”其中坐标是相对于图片宽高的归一化浮点数。由于CCPD文件名里的坐标是绝对像素值转换脚本必须读取图片实际尺寸并做归一化。这里给一个完整的转换脚本同时生成训练清单和标签文件import cv2, os def convert_ccpd_to_yolo(img_path, txt_path, class_id0): img cv2.imread(img_path) h, w img.shape[:2] fname os.path.basename(img_path).replace(.jpg, ) parts fname.split(-) x_min, y_min, x_max, y_max [int(v) for v in parts[2].split()] x_center ((x_min x_max) / 2) / w y_center ((y_min y_max) / 2) / h box_w (x_max - x_min) / w box_h (y_max - y_min) / h with open(txt_path, w) as f: f.write(f{class_id} {x_center:.6f} {y_center:.6f} {box_w:.6f} {box_h:.6f})坐标归一化这一步是YOLO系列模型最容易出错的地方。有两点值得注意一是CCPD文件名里的角点坐标描述的是车牌四个顶点取外接矩形的结果不是原始四边形的旋转框所以直接计算x_min等值没问题二是YOLOv8在训练时还会做自己的数据增强我们在外部做归一化时只需要保证格式正确不需要再额外做resize。3.3 YOLOv8训练命令与关键参数解读在ultralytics目录下准备好数据集结构后训练命令如下yolo detect train dataccpd.yaml modelyolov8n.pt epochs100 imgsz640 batch16 device0 patience15ccpd.yaml里要指定train/val目录路径和类别数类别只有一类“license_plate”。epochs设置100是经验值CCPD数据量在30万张级别实际训练起来一般50轮就已经收敛后续轮次贡献有限设置patience15让它在验证集指标停滞时自动早停。imgsz640是速度与精度折衷的比较合理配置继续加大到1280对小目标检测有提升但显存占用会翻四倍。batch大小取决于GPU显存如果训练时报“CUDA out of memory”优先把batch降到8而不是调小图片尺寸因为图片尺寸影响的是检测精度的上限。训练完成后用以下命令在验证集上做指标评估yolo detect val modelruns/detect/train/weights/best.pt dataccpd.yaml关注mAP50和mAP50-95两个指标。车牌检测是单类目标检测mAP50达到0.98以上才算合格mAP50-95在0.85左右说明边界框定位比较紧。如果mAP50高但mAP50-95低意味着框的位置还不够准对下一阶段识别器的特征裁剪会造成干扰。3.4 检测结果后处理透视矫正与车牌角度对齐检测器输出的边界框是轴对齐矩形但实际车牌的四个角点在图像里经常是倾斜的。直接把矩形裁剪送给识别网络字符会有明显倾斜识别准确率会掉几个点。这里有一个重要技巧用YOLOv8的关键点模式pose分支回归车牌的四个角点或者用传统图像处理在框内找二值化连通域拟合四边形。我一般倾向于在检测阶段只输出Box在识别前加一个轻量的仿射变换矫正模块def order_points(pts): rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] rect[3] pts[np.argmax(diff)] return rect def four_point_transform(image, pts, target_w168, target_h48): rect order_points(pts) (tl, tr, br, bl) rect dst np.array([[0, 0], [target_w - 1, 0], [target_w - 1, target_h - 1], [0, target_h - 1]], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) return cv2.warpPerspective(image, M, (target_w, target_h))这里的order_points是一个基础但极其有用的几何处理函数它按照坐标和的方式把四个点排序为左上、右上、右下、左下从而保证仿射变换不会出现镜像或错位。target_w168, target_h48是车牌识别任务里常用的输入尺寸对应中国车牌2:1左右的长宽比。矫正后的图片可以直接送入识别网络不需要再做复杂的字符分割。4. 识别网络从LPRNet到CRNN的选取与训练细节4.1 中文车牌识别的主流网络结构对比车牌识别本质上是一个序列识别任务输入是矫正后的窄条图片输出是字符序列。业界用得最多的是两条路线LPRNet和CRNN。LPRNet是一个轻量级卷积网络直接对整张车牌做序列建模结构简单训练和推理都快CRNN则是CNN加RNN的结构用LSTM或者双向GRU建模字符间的上下文依赖适合较长序列。在中文车牌这个场景里字符数量只有7到8个LSTM的上下文建模收益有限LPRNet在实际项目中反而更常见因为参数量小CPU也能跑。深度学习领域有一种观点认为更复杂的网络结构一定能带来更高精度但在车牌识别这个任务里数据质量的影响远大于网络复杂度。CCPD数据集里字符清晰的车牌用几层卷积加一个分类头就能拿到95%以上的准确率反而是字符粘连、反光严重的难例需要靠检测阶段的图像质量筛选去解决。因此建议把CRNN作为上限方案LPRNet作为主力方案优先保证训练效率和部署可行性。4.2 CRNN的PyTorch实现与CTC损失函数如果要在毕设里写代码篇幅CRNN是更好的素材因为涉及CNN特征提取、RNN时序建模和CTC解码三个完整模块。下面给出一个精简但可训练的车牌CRNN实现骨干特征提取部分直接复用VGG风格的前几层卷积import torch.nn as nn class CRNN(nn.Module): def __init__(self, num_classes, input_h48, nc3): super().__init__() self.cnn nn.Sequential( nn.Conv2d(nc, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2, 2), nn.Conv2d(128, 256, 3, padding1), nn.BatchNorm2d(256), nn.ReLU(), nn.Conv2d(256, 256, 3, padding1), nn.ReLU(), nn.MaxPool2d((2, 1)), # 高度压缩到1 ) self.lstm nn.LSTM(256 * 4, hidden_size128, num_layers2, bidirectionalTrue, batch_firstTrue) self.fc nn.Linear(256, num_classes) def forward(self, x): x self.cnn(x) # (B, C, 1, W) x x.squeeze(2).permute(0, 2, 1) # (B, W, C) x, _ self.lstm(x) return self.fc(x)这段代码的关键在于MaxPool2d((2, 1))这个操作它只在高度方向压缩保留宽度方向的特征分辨率使得输出的特征序列长度对应输入图片的宽度。CTC损失函数要求输出序列长度大于等于标签长度车牌最长8个字符输入图片宽度48就能满足这个约束。训练时使用torch.nn.CTCLoss参数blank0表示用0号位置作为空白符推理时用贪心解码把重复字符合并后删除空白符得到最终车牌字符串。4.2.1 CTC训练中必须吃透的三个参数CTCLoss并不是设置个blank就能直接用的损失函数三个细节没处理好模型训出来会输出一堆重复字符。第一是zero_infinity要设为True防止log概率为负无穷时梯度变成NaN。第二是输入长度input_lengths必须是CNN输出序列的实际长度计算公式是输入宽度除以4再减1不同尺寸的输入会产生不同长度batch里要做padding或按长度分组。第三是标签里的重复字符处理真实车牌中极少出现连续相同字符但训练数据里如果有“AA”这样的标签CTC默认会将其折叠成一个A需要在标签里插入blank隔开。在车牌场景里这两个问题都算少见但理解后能解释为什么某些情况下loss不下降。4.3 训练配置、学习率策略与准确率评估指标识别网络的输入统一resize到168x48像素的灰度图batch设为128优化器选择AdamW初始学习率1e-3配合余弦退火调度器。训练50个epoch左右在GTX 3060级别显卡上CCPD子集5万张图片约需2到3小时。评估指标不要只看整体准确率要按字符位置拆开看因为车牌的前两位是省份简称和发牌机关代号后五位是数字和字母前面字符的类别空间只有31类后面的类别空间是34类难度不同。训练完成后建议做一次错误样例分析把识别错误的车牌图片按预测置信度排序人工观察是字符模糊还是检测框偏移。这一步对论文的“实验分析”章节价值很大。如果某一类字符反复出错比如C和G、D和O说明训练数据里这类样本不够可以做针对性过采样这比调整网络结构有效得多。5. 高性能落地ONNX导出与推理实测的经验5.1 导出ONNX前的模型剪枝与算子选择课程作业和毕设答辩通常对“高性能”的要求是能实时跑起来最稳妥的做法是把训练好的检测和识别模型分别导出为ONNX格式在推理阶段用ONNXRuntime加载。导出前有一步调整很重要因为训练时模型处于train模式会包含BatchNorm的统计量更新逻辑导出前必须调用.eval()固定BN参数否则ONNX图里会多出不必要的计算节点推理时首次运行还会额外触发一次统计量计算影响速度指标。此外YOLOv8导出时把ops11设为可选项ONNXRuntime对低版本算子的兼容性更好。yolo export modelruns/detect/train/weights/best.pt formatonnx dynamicFalse imgsz640 python export_crnn_onnx.py --weights crnn_best.pt --output crnn.onnx导出时建议设dynamicFalse固定输入尺寸然后用固定尺寸像素和固定批大小去测延迟这个数据才是可以写进报告的真实性能数据。如果要进一步压榨性能可以用TensorRT或者OpenVINO做进一步优化但这类工具对环境的依赖较重不推荐在答辩演示前临时折腾。5.2 推理速度瓶颈分析与CPU/GPU实测数据把完整流程拆开计时通常会发现检测阶段占大头识别阶段反而很快。一个较合理的预期数据是在i5-12400的CPU上YOLOv8n检测单张图耗时约60到80毫秒LPRNet识别单张图耗时约15到20毫秒总计在100毫秒以内即可称为实时如果使用GPU整体延迟可以压缩到20到30毫秒。以下是实测数据的一个参考表格设备检测耗时识别耗时总耗时CPU (i5-12400)72ms18ms90msGPU (RTX 3060)18ms9ms27ms量化后CPU45ms12ms57ms如果CPU推理总耗时超过150毫秒优先检查是不是在每次推理时都重新做了图像缩放和颜色转换。常见做法是预先分配好零拷贝的输入tensor把numpy数组传入ONNXRuntime前用np.ascontiguousarray保证内存连续这个细节有时能带来5到10毫秒的提升。另一个优化点是检测阶段的NMS后处理YOLOv8默认的NMS置信度阈值是0.25在车牌任务里可以调高到0.4因为车牌是强先验目标误检的概率本来就低调高阈值能过滤掉一些遮挡场景下的虚警同时减少后处理排序开销。本文还有配套的精品资源点击获取