简介一份基于正点原子达芬奇Artix-7开发板的 FPGA 车牌识别仿真项目源码面向 FPGA 图像处理初学者、嵌入式硬件开发者以及数字逻辑课程设计学生定位是提供从摄像头采集到 LCD 显示的端到端参考实现。项目覆盖图像采集、RGB 转 Ycbcr、Sobel 边缘检测、腐蚀膨胀、特征值提取与卷积模板匹配等关键环节能够帮助读者在 XC7A35T 芯片上复现车牌识别完整流程。资源包共 4 个文件压缩后仅 12KB包含 Verilog 工程源码、Markdown 说明文档、HTML 预览页及 gitignore 配置文件结构精简虽小但模块划分清楚便于对照代码理解 OV5640 通信、Ycbcr 转换算法、Sobel 卷积计算等核心逻辑。目前已有 56 人学习下载。借助该工程读者可学习 Vivado2019.2 工程搭建和 Modelsim 仿真测试平台设计思路并基于测试向量验证模块正确性是一份适合课程设计、竞赛准备或 FPGA 图像处理技术预研的紧凑型参考方案。 最早接触“FPGA车牌识别与仿真”这个项目是在我准备毕设选题的时候。当时搜遍全网发现大多数资料停留在两类一类是PPT级别的讲原理、放几张图像结果另一类是”Python调库“实现的伪FPGA工程。真正能从零搭一个RTL工程把一张BMP图片完整地走完预处理、定位、分割、识别全流程还能跑仿真出结果的项目非常少。这篇文章就是基于我完整做完一遍这类项目后的经验总结目标是帮你搞懂FPGA做车牌识别的整体思路、模块划分、仿真验证方法以及那些文档里不会写的坑。1. 为什么非要用FPGA做车牌识别1.1 CPU与FPGA处理图像的本质区别很多人第一反应是车牌识别用OpenCV写几十行Python不就行了吗的确在PC上识别一张静态车牌图片Python方案既快又准还能直接用深度学习模型识别率轻松做到99%以上。但如果你想做的是实时视频流处理或者把一个摄像头接口直接接到识别板卡上情况就不同了。CPU处理图像是“帧”的思路先把整幅图像采集进内存然后逐像素读取、计算算法可以任意跳转访问任何位置的像素。这个流程灵活但瓶颈在总线带宽和处理器核心数上处理1080p60fps的视频流时CPU方案延迟高、功耗大在嵌入式场景里很难满足需求。FPGA处理图像是“流”的思路像素从摄像头接口或存储器里一个一个流进来算法模块像工厂流水线一样每个模块处理完当前像素就交给下一个模块一个时钟节拍处理一个像素延迟只有几百个时钟周期功耗也远低于通用处理器。这正是车牌识别里预处理、边缘检测、投影统计这类计算密集、规律性强的工作所需要的。1.2 FPGA车牌识别项目能覆盖哪些硬技能我后来回过头看这个项目之所以值得做一个重要原因是它覆盖了FPGA开发的全链路Verilog RTL设计、时序约束、跨时钟域处理、图像处理算法硬件化、testbench仿真、板级调试。光是“流水线设计”和“状态机设计”这两块就能在面试时跟人聊半小时。另外一个容易被忽略的价值是这个项目天然适合分模块验证。灰度化、中值滤波、Sobel边缘检测、二值化、形态学处理、投影定位、字符分割、模板匹配每一个模块都可以单独写testbench仿真出图验证最后再拼到顶层。这种“模块化递增”的开发节奏对手上的板子资源有限、或者刚开始接触FPGA图像处理的人来说非常友好。2. 系统架构与模块规划2.1 全流程数据链路设计在写任何RTL之前我强烈建议先把整条数据链路画出来。基于最常见的FPGA车牌识别方案整个系统可以拆成以下链路图像输入从BMP文件仿真或摄像头接口上板读入像素数据按行扫描顺序输出灰度或RGB像素预处理灰度化 中值滤波去噪边缘检测Sobel算子提取车牌区域的边缘特征二值化与形态学将边缘图二值化再做一次膨胀/腐蚀让车牌区域连成块车牌定位对二值化边缘图做水平/垂直投影统计边缘密度找到车牌候选区域的行列范围字符分割根据定位结果在原灰度图或二值图上按垂直投影切出单个字符字符识别用归一化后的模板匹配输出字符结果有一个并行设计思路需要注意定位到车牌区域后字符分割用的图片应该回到“未做边缘检测的灰度图”上。所以实际工程里灰度化后的数据会同时发给两条路径一条去做边缘检测和定位另一条被行缓冲暂存等定位结果出来后供分割识别使用。这个“双路并行局部数据缓存”的思路在用FPGA做检测类算法时非常常见。2.2 行缓冲与流水线FPGA图像处理的基本功CPU算法里想访问某个像素的邻域直接用数组下标取就行。但在FPGA里像素是一个个串行进来的你拿到当前像素时它之前的数据已经过去了。要获取3x3邻域就必须把图像的行数据缓存下来。最简单的实现是用两个行缓冲Line Buffer常见的结构是移位寄存器链或双口RAM。对一张宽640像素的图像我习惯用GRAY_SCALE_WIDTH这个参数配置行缓冲的长度配合行计数器控制写入使能在第三个有效行到达时开始输出完整的3x3窗口数据。流水线设计上要让每个模块“一个像素、一拍处理完”。顶层用valid信号表示像素数据有效用ready信号做反压。初始化阶段前几行是无效输出因为窗口还没有填满这个边界处理是关键。2.3 源码工程的模块划分与组织你在网上找到的资源很多都只有一个孤零零的顶层文件可读性很差。我自己的项目按目录组织├── rtl │ ├── top_lpr.v // 顶层模块 │ ├── gray_trans.v // 灰度化 │ ├── median_filter_3x3.v // 中值滤波 │ ├── sobel_detect.v // Sobel边缘检测 │ ├── binarize.v // 二值化 │ ├── morph_process.v // 膨胀/腐蚀 │ ├── plate_locate.v // 投影定位 │ ├── char_segment.v // 字符分割 │ └── template_match.v // 模板匹配识别 ├── sim │ ├── tb_top_lpr.v // testbench │ └── images/ // 输入图片与输出结果 └── doc这种划分的好处是每个模块独立性很强调试时可以直接对单个模块做仿真。顶层模块只负责数据流控制和模块之间的握手一旦某个子模块出错不用翻几百行代码。3. 核心算法的硬件化实现3.1 灰度化用移位代替浮点运算RGB888转灰度图的标准公式是Y 0.299R 0.587G 0.114B如果直接写浮点乘法在FPGA里会占用大量DSP资源而且综合工具不一定能优化好。工程上的常规做法是转成整数移位Y (R×77 G×150 B×29) 8这个公式就是把浮点系数放大256倍后取整再通过右移8位还原。实测下来亮度误差在1个灰度级以内肉眼完全看不出区别。代码上直接用assign连续赋值就行综合出来是一组加法器和移位寄存器不消耗DSP。3.2 中值滤波排序网络的搭建思路车牌图片经常带椒盐噪声直接在二值化图上做定位会被噪点干扰。中值滤波的作用是在保留边缘信息的同时去掉孤立噪点。FPGA实现的核心是一个3x3窗口内的数据排序我见过很多初学方案用三个周期的冒泡排序这在低速图像处理里勉强能跑但对流水线设计来说并不理想。更高效的做法是排序网络9个数据先用三级比较器网络把最大值、最小值筛选出来中间剩下的就是中值。具体实现上把3x3的9个数据拆成三组每行3个数先排序再做列方向的中值筛选。组合逻辑层数多一些但只要在中间插入寄存器就能把时序收敛到不错的频率。实测在100MHz时钟下处理1080P分辨率的灰度图一套三级排序网络没有任何时序压力。3.3 Sobel边缘检测与投影定位Sobel边缘检测是车牌定位中最常用的一步。它对灰度图分别做水平方向Gx和垂直方向Gy的卷积Gx [[-1,0,1],[-2,0,2],[-1,0,1]] Gy [[-1,-2,-1],[0,0,0],[1,2,1]]在Verilog里这本质上就是9个乘法器加8个加法器。但你要注意系数是-2、2这种实际可以用“左移一位再取反”的方式代替乘法进一步节省资源。边缘检测完得到的边缘图真正有价值的是“边缘密度”。车牌区域的一个显著特征是水平边缘密集且连续而背景区域比如车身、路面边缘分布比较随机。做法是把整幅图按块划分比如每8x8像素一个块统计块内边缘像素数超过阈值就标记为候选。然后做水平投影统计每一行的边缘像素总数车牌区域会形成一个明显的峰值区间这就是车牌的上下边界。垂直投影找左右边界同样用峰值区间定位。一个容易踩坑的点是垂直投影容易把左右边界框到单个字符上尤其是字符间隔比较大的时候。我的处理方法是先做一个膨胀操作让字符在区域上连起来再做垂直投影这样能避免把蓝底车牌框成右边半个。3.4 字符分割与模板匹配识别定位到车牌区域后字符分割最常用的是垂直投影法把车牌区域的二值图逐列统计像素数字符之间会出现明显的低谷按低谷位置切分每个字符。中文车牌第一个字符是汉字后面是字母和数字所以分割时需要按“7个字符”的预期来合并或拆分候选区间。分割出来的每个字符尺寸不一样送入模板匹配前需要归一化到固定尺寸我通常统一归一化到24x48像素。模板库把汉字、字母、数字各字符的模板预存在ROM里匹配时计算当前字符与每个模板的重合度重合度最高的就是识别结果。重合度的计算有两种常用方式一种是逐像素异或后统计差异像素数差异越小越匹配另一种是归一化互相关对光照变化更鲁棒。FPGA里做前面那种实现更简单一个异或门加一个累加器。我在实际项目里用的是第二种在天气变化场景下的识别率更高代价是多用了一些乘法器。4. 仿真环境搭建让RTL“看到”一张图片4.1 第一步testbench读取BMP图片FPGA仿真和软件调试最大的区别是你得亲手把输入数据准备好。图像处理最直接的驱动方式是读取BMP文件因为BMP格式简单且无压缩。testbench里读取BMP的核心逻辑用$fopen打开文件$fread读取文件头54字节解析文件头里的宽度、高度和色深信息跳过数据偏移字段从偏移位置开始按行读取像素数据注意BMP是自底向上存储的读入时要翻转行序每行数据需要按4字节对齐行末尾可能有补齐字节要跳过读入像素后testbench根据VGA时序或者自定义的行场信号把一行一行的像素按节拍送入DUT。我习惯用一个简单的定时器逻辑产生行有效信号和帧有效信号让DUT的处理模块同步工作。4.2 第二步把输出结果写回BMP光看波形来确认图像处理结果是不现实的。必须把DUT输出端的像素数据实时写回文件再打开图片人工查看效果。写回文件时同样要写BMP文件头然后逐像素写入。对于灰度图要生成一个灰度格式的BMP色调为0。这里有个小细节如果输出图像大小和原图一致直接复用输入文件头只修改像素数据偏移和文件大小字段就行。如果输出是裁剪或缩放后的尺寸必须重新计算文件头参数。这个环节能帮你极大提高调参效率。比如二值化阈值设得不好直接看输出的二值图就能发现不用去逐个波形里找像素值。我调试Sobel阈值时基本就是改一次参数、跑一次仿真、打开图片看一次效果半小时内就能收敛。4.3 仿真常见的三个坑仿真过程里我踩过几个典型的坑写出来提醒你时序对齐问题行缓冲的输出比输入晚两个时钟周期顶层模块处理前几行像素时会输出无效数据。testbench里判断DUT输出时必须等帧有效信号拉高后再开始采集否则会在图像顶部产生一条错位的垃圾行。多分辨率适配如果BMP图片宽度不是4的倍数BMP文件行尾会有补齐字节。很多第一次写的testbench直接连续读数据结果图片右侧会出现斜切错位。仿真时间太长如果用ModelSim跑全幅1920x1080的仿真动辄几百万个时钟周期耗时会让人怀疑人生。我的经验是先截取图片的一部分区域做功能验证比如截一个80x60的车牌区域功能正确后再跑全图。另外仿真时尽量用行为级描述的行缓冲不要用真实IP能明显提速。5. 上板验证中的坑与调参经验5.1 资源占用与时钟频率的平衡整个工程在Xilinx Artix-7级别的芯片上综合逻辑资源占用不到20%BRAM主要集中在行缓冲和模板ROM上。如果只是单纯跑一个VGA分辨率640x480的演示包括字符模板库在内总资源大约在2000个LUT左右很多入门级FPGA板卡都能轻松装下。时钟频率上如果不做复杂的中值滤波排序网络跑150MHz没压力。加上排序网络后组合逻辑路径变长我最后压到100MHz锁存时序报告全绿。这里提醒一个注意点摄像头接口的像素时钟通常只有25MHz或50MHz但内部处理时钟可能更高。两条时钟域之间到底要不要做同步处理取决于你的架构。如果摄像头数据直接用内部时钟采样要确保跨时钟域采样的建立保持时间满足约束建议看板卡的参考设计怎么接的我偷懒直接做了两级同步打拍实测没有出现花屏。5.2 阈值定不下来先别硬调整个项目里最耗时间的绝对是阈值调参。二值化阈值、Sobel梯度阈值、投影峰值阈值任何一个不合适都可能导致定位失败或字符分割错误。我的经验是先把每级处理结果单独导出成图片逐级检查。比如定位不到车牌先看Sobel边缘图好不好边缘图正常再看投影统计对不对这样逐级缩小问题范围。直接改顶层参数碰运气效率极低。还有一个细节Sobel边缘图的梯度阈值不要定得太高。车牌边缘本身对比度足够但反光或阴影区域梯度会变低阈值高了容易把边缘断开。对典型日间场景我测试下来梯度阈值取50到80比较合适这个值跟你的图像归一化方式有关仅供参考。5.3 实战中识别率上不去的真正原因项目做完后我拿一些真实场景的车牌图片测试发现识别率比预期低不少。排查下来问题大多出在三个地方字符归一化做得不好。模板匹配的前提是字符尺寸一致但只要分割框偏了半个像素归一化后字符轮廓就会失真匹配度下降严重。解决办法是在分割后加一步字符外接矩形精修去掉多余的白边。汉字模板数量不足。车牌汉字有几十个如果模板库只收了几十个常用汉字实际遇到不在库里的汉字就会误识别。至少要覆盖32个省级简称和字母数字组合。光照条件变化。模板匹配对光照很敏感如果车牌区域有强反光字符笔画可能断裂。可以考虑在预处理阶段做一次直方图均衡化代价是多加一部分流水线逻辑。最后分享一个我个人的改进方向如果是做真正可用的产品级方案FPGAARM的异构架构更合理——FPGA做实时预处理和定位ARM核跑OpenCV或者轻量级神经网络做字符识别。单纯用模板匹配的FPGA方案更适合作为教学演示和算法验证。但把这条路完整走一遍之后你对“算法怎么变成硬件电路”这件事的理解会比看再多代码都深刻。本文还有配套的精品资源点击获取