简介基于深度学习的试卷手写文字擦除毕业设计资源面向计算机视觉、图像处理方向的毕业生和入门研究者核心目标是去除扫描试卷中的手写笔迹并保留原有印刷内容适用于历史考卷数字化、题库整理等场景。资源共含29个文件压缩包仅94KB以22个Python源码文件为主覆盖模型定义、损失函数、数据加载、训练与预测等完整流程另含3个Shell脚本用于启动训练测试2个Readme与1个Markdown文档对项目结构和使用方法作了说明。已有123人学习。源码中可见U-Net、SA-GAN等典型图像分割与生成对抗网络结构并利用PSNRLoss等指标评估擦除效果便于深入理解手写文字擦除的技术实现。配套文档阐述了算法原理、实验配置与结果分析能帮助读者快速复现项目并迁移到答题卡识别、手写笔记清理等相近任务作为毕业设计参考资料价值较高。1. 从试卷扫描件里“擦掉”手写笔迹这份深度学习毕设源码的完整技术链手写文字擦除说人话就是把试卷扫描件里学生写的答案、草稿、批注抹掉同时保留印刷体题目和图表不变。这个需求在旧题复用、历史试卷电子化、教辅排版里非常常见人工用 PS 一张张修效率极低所以才有“训练模型自动擦除”这条深度学习路线。这份研究生/本科毕业设计资源给的不是单个模型文件而是一套从数据预处理、mask 生成、GAN 训练到 ONNX 部署的完整链路源码里同时包含分割网络、生成器、判别器、EMA 权重转换和部署脚本技术栈集中在 PyTorch CNN 生成对抗网络非常适合拿来做图像修复方向的毕设二开也适合刚入门图像生成想找一个完整工程练手的人。2. 任务拆解与模型选型为什么是“分割生成”而不是端到端硬修2.1 手写擦除的本质是局部结构重建先定位笔迹再修复很多人第一次接触这个任务会下意识认为“这不就是图像去噪吗拿一个 CNN 端到端训练输入带手写的图输出干净图就行”。实际跑过就会发现端到端硬修出来的结果非常尴尬模型不知道哪里是手写、哪里是印刷体它会倾向于把整张图做一次“平滑化”结果是手写淡了印刷体的笔画也变细了字间距出现毛边甚至把题目里的公式符号修出重影。原因在于手写擦除和去噪本质不同。去噪的噪声是全局随机分布的而手写笔迹是局部密集、颜色不均、压住印刷体的结构性遮挡。它要解决的问题不是“把噪点抹平”而是“把被遮挡区域的底层印刷结构重新推断出来”。所以主流的做法都是两段式先用分割网络定位手写区域拿到二值 mask再让生成网络只对 mask 区域做重建修复这样印刷体区域完全不动只有笔迹区域被“重新画一遍”。这个任务在深度学习里更准确的叫法是 guided inpaintingmask 引导的图像修复而不是简单的 denoising。你去看这份源码的目录结构会发现它同时包含了分割和生成两套模型文件——BiSeNetV2.py和compute_mask.py负责前一步的定位sa_gan.py、nafa_archv1.py、idr.py负责后一步的修复分工非常清楚。这是这类项目里最稳的结构设计而不是作者随意堆模型。2.2 源码里的关键网络BiSeNetV2、NAFNet 与 SA-GAN 各自承担什么先从文件层面把模型部分拆开看。压缩包models目录下有几个核心文件我按它们在流程里的角色说明一下文件角色我理解的职责BiSeNetV2.py分割网络对输入试卷图做语义分割输出手写/非手写的区域概率图compute_mask.pymask 生成把分割结果二值化得到 0/1 的笔迹区域 masksa_gan.py生成器 判别器自注意力 GAN生成器负责修复 mask 区域判别器负责判断修复结果是否真实nafa_archv1.py修复骨干网络NAFNet 架构变体负责图像修复阶段的特征提取与重建non_local.py注意力模块非局部注意力让网络能关联远处像素处理长笔画跨越的情况idr.py修复分支一个轻量修复模块配合主生成器做细节重建BiSeNetV2 本身是实时语义分割网络原本更多用在人像分割、街景分割上。在这个项目里被复用为“手写区域分割器”从工程角度是说得通的它足够轻而且对边缘细节的保持比很多分割网络好而手写笔迹恰恰需要清晰的边缘否则 mask 会坑坑洼洼直接影响后续修复质量。SA-GAN 就是 Self-Attention GAN它的核心价值是引入非局部注意力。为什么这个任务需要它因为手写笔迹不是小块噪声而是一串连续笔画长度可能跨过几十上百个像素。普通卷积的感受野是局部的要修复一个长撇长捺它只能看到附近一小块结果经常把笔画接不上。Non-local 模块让网络在计算某个位置的特征时可以直接加权整张图所有位置的特征长笔画的连续性才有保障。这份源码专门放了一个non_local.py就是这个目的。NAFNet 是我个人比较看好的部分。它的全称是 Nonlinear Activation Free Network主打去掉非线性激活函数、简化归一化层在图像修复任务上参数效率很高。如果训过 U-Net 系的修复模型你会发现普通 U-Net 修复手写区域容易出灰蒙蒙的一片而 NAFNet 类的结构对高分辨率细节的保持更好。这份源码把它作为修复骨干说明作者在设计实验时是认真比较过不同修复网络的。2.3 为什么不用裸 U-Netmask 监督能让模型知道自己该改哪里有些同学会问既然有分割网络了直接 end-to-end 训练一个分割修复的联合网络不是更省事吗理论上可以但实际训练会有一个大麻烦模型不知道哪些错误是重要的。想象一下如果直接用重建损失比如 L1 Loss在整张图上算误差印刷体区域的像素误差和手写区域的像素误差会被平均。印刷体区域本来就很清晰损失很小手写区域面积占比可能只有 5%~10%它的误差被淹没在整体 loss 里模型优化很长时间都学不会“用力修手写区域”。被 mask 引导之后损失只在 mask 区域计算或者对 mask 区域的 loss 设置更大的权重模型被迫把注意力集中到真正需要重修的地方。另外从这份源码里compute_mask.py的存在可以推断mask 不只是用来算损失还会参与输入拼接。常见的做法是把 mask 作为额外通道拼到输入图像上输入从 3 通道变成 4 通道。生成器需要知道“哪里是需要动的”mask 通道相当于给生成器画了个工作范围。这样生成器在 mask 外就老老实实复制原图在 mask 内才发挥生成能力训练难度大幅下降。这个设计思路在很多商用试卷擦除产品里也是这么做的。3. 源码结构与运行链路从数据读取到模型产出的完整流程3.1 压缩包源码的组织方式我拿到压缩包后第一件事就是按目录把文件归位。整个源码的组织方式基本分为数据、模型、损失、工具脚本四块我用 tree 把结构还原出来. ├── data/ │ ├── dataloader.py # 数据加载器 ├── loss/ │ ├── Loss.py # 损失函数汇总 │ ├── PSNRLoss.py # PSNR 损失 │ └── losses.py # 各类损失实现 ├── models/ │ ├── sa_gan.py # 自注意力 GAN │ ├── non_local.py # 非局部注意力模块 │ ├── sa_aidr.py # 辅助修复模块 │ ├── networks.py # 网络打包入口 │ ├── idr.py # 修复分支模块 │ └── discriminator.py # 判别器 ├── ckpt_convert/ │ ├── ema.py # EMA 权重处理 │ └── ckpt_convert.py # checkpoint 转换脚本 ├── BiSeNetV2.py # 分割网络 ├── compute_mask.py # mask 生成脚本 ├── nafa_archv1.py # NAFNet 修复网络 ├── train.py # 训练主入口 ├── predict.py # 单图推理 ├── train.sh # 训练启动脚本 ├── test.sh # 测试启动脚本 ├── convert_onnx.py # 转 ONNX 脚本 ├── gauss.py # 高斯模糊工具 └── README.md # 项目说明这个目录结构有一个很好的习惯区分了训练脚本和部署脚本。train.py和train.sh是训练链路predict.py和test.sh是推理链路convert_onnx.py单独拎出来做模型转换。这对于毕业设计论文的“系统实现”章节很有价值你不需要自己再去重构代码结构直接按这个分层去写系统设计即可。3.2 数据流dataloader、compute_mask、gauss 怎么配合数据链路是这类项目里最影响效果的一环我把它拆成三步讲。第一步data/dataloader.py负责读入图像对。训练数据一般要求是“同一张试卷的带手写版本和干净版本”成对出现。我见过很多同学自己造数据时只准备带手写的图没有干净 GT这是不行的因为没有监督信号模型根本没法学。dataloader 里返回的每个样本至少包含三样东西带手写的输入图img、干净的目标图gt、以及后续算出来的 mask。伪代码如下def __getitem__(self, idx): # 读入配对图像 img cv2.imread(self.pairs[idx][imgn]) # 带手写的试卷图 gt cv2.imread(self.pairs[idx][gt]) # 干净版试卷图 # 统一尺寸、归一化到 [-1, 1] img self._resize_and_norm(img) gt self._resize_and_norm(gt) # mask 在训练时通常不直接读文件而是用分割网络计算或加载预生成结果 mask self._load_or_compute_mask(idx) return img, gt, mask这段代码里有几个容易踩的细节。_resize_and_norm我一般把尺寸保持长宽都对齐到 16 的倍数否则后续多层下采样会出尺寸对不上的问题。归一化到[-1, 1]是为了匹配生成器输出层的 Tanh 激活如果有的同学改成[0, 1]就要把输出层的激活函数也一起改否则生成的图像会整体偏色。第二步compute_mask.py把分割网络的输出转成真正可用的二值 mask。它做的事情包括取分割概率图中手写类别的通道、按阈值二值化、然后做形态学膨胀。为什么要膨胀因为分割网络对笔迹边缘的预测往往偏保守笔迹边缘其实是有半透明墨迹的如果 mask 只圈住笔迹核心区域边缘的淡墨渍会被漏掉最后修复图上会留下一圈印子。膨胀操作就是给 mask 加一圈余量。常见做法是膨胀 3~5 个像素具体数值取决于你的图像分辨率1024px 宽度的图我一般用 kernel size 5 的膨胀。第三步gauss.py对 mask 做高斯模糊。这个操作很容易被忽略但直接影响修复效果。如果直接把二值 mask 送进生成器mask 边缘是硬切边生成器会在边缘附近产生明显的修复痕迹。高斯模糊之后mask 边缘变成渐变过渡生成器就知道“这里不能下重手要柔和衔接”。代码逻辑很简洁def gauss_mask(mask, sigma3.0): # 将二值 mask 转成 float mask mask.astype(np.float32) # 高斯模糊让边缘平滑过渡 mask cv2.GaussianBlur(mask, ksize(0, 0), sigmaXsigma) return mask这里的sigma参数很关键。设得太小平滑效果等于没有设得太大mask 范围会弥散到笔迹外导致模型把印刷体也一起修掉。我自己的经验是在 512x512 的输入分辨率下sigma2~4比较稳妥。3.3 训练测试脚本怎么串起整条链路源码里给出了train.sh、test.sh和submit_dehw.zip这一套组合拳是为了把“训练 - 测试 - 提交”串起来。train.sh是入口脚本里面一般就是设定好超参数后调用train.py。我按常见写法还原一下参数组织方式python train.py \ --batch_size 4 \ --lr 1e-4 \ --epochs 100 \ --gpu 0 \ --out_dir ./checkpointsbatch_size这里有一个权衡GAN 类模型对 batch size 敏感太小训练不稳定太大显存顶不住。4 是一个比较保守的起步点。lr1e-4是 Adam 优化器下生成器的常见初始学习率判别器我一般会单独设低一点比如2e-5这样判别器不会强过生成器太多。如果发现训练早期生成器 loss 降不下去先别急着调网络结构把生成器学习率提到3e-4试试往往更有效。test.sh走的是推理链路。它调用predict.py对单张或一个批次的手写试卷图做推理核心过程是读图 → 分割网络出 mask → mask 高斯模糊后拼到输入 → 生成器修复 → 输出干净图。推理链路里有一个值得注意的点predict.py里通常会把 mask 的可视化也输出一份方便你排查到底是分割错了还是修复错了。如果生成结果里某一处该擦的没擦掉但 mask 可视化里那一块已经是白的mask 覆盖了那问题在生成器如果 mask 本身就没覆盖到那块那问题在分割网络。这个排查思路能让你少走很多弯路。submit_dehw.zip说白了就是打包好的提交物。在毕设场景里这就是你的“交付物”里面包含模型权重、推理脚本和一份 README。我建议你跑通项目后保留这个目录结构每次调参之后重新打包一份带版本号的 zip论文里的实验结果才能对得上。4. 损失函数与训练细节PSNR Loss、对抗 Loss 和 EMA 的配合4.1 三个损失文件到底在算什么loss/目录下有三个文件Loss.py、PSNRLoss.py、losses.py。从命名看Loss.py是汇总入口losses.py是具体实现PSNRLoss.py是单独的 PSNR 损失模块。我先说 PSNR Loss它是这个任务里最基础的监督信号。很多人以为 PSNR 只能当评价指标不能当损失函数。其实PSNRLoss就是把 PSNR 公式反过来用定义成1 / (MSE eps)或者等价的负对数形式让网络优化时直接以提升 PSNR 为目标。这样做的好处是损失量纲直观模型每轮训练后的 PSNR 直接在训练日志里就能看到不需要额外算指标。但要注意PSNR Loss 本质上还是逐像素的均方误差它对图像的高频细节不敏感这就是为什么 GAN 的对抗损失必须同时存在的直接原因。losses.py里一般会实现多个损失类比如感知损失Perceptual Loss、L1/L2 损失、以及 GAN 对抗损失。我按最常见的组合方式把它们列成一个配置表损失项作用方式常用权重PSNR / L1 Loss像素级约束保证重建图与 GT 在亮度、结构上接近1.0Perceptual Loss用 VGG 特征图算距离保持语义结构0.1 ~ 0.5Adversarial Loss判别器判断真假提升真实感0.01 ~ 0.1Mask 区域加权只对 mask 覆盖区域加大权重难度聚焦10 ~ 30这里的 mask 区域加权不是单独一个损失函数而是在算 PSNR Loss 之前把 loss map 乘以一个加权系数mask 区域乘 20非 mask 区域乘 1。这样做比单纯在整图算 loss 效果明显更好因为手写区域占的面积往往很小不加权的话那部分误差在总 loss 里占比太低模型会偷懒直接复制外部信息到 mask 区域。4.2 EMA 和 checkpoint 转换对抗训练里最值得留的后悔药训练 GAN 类修复模型最让人头疼的就是 loss 明明在降生成结果却忽好忽坏。今天验出来效果不错睡一觉再训练效果反而倒退了。这时候ckpt_convert/ema.py就是你的后悔药。EMAExponential Moving Average做的事情很简单在训练过程中不直接用当前这一步的模型权重去推理而是维护一份“历史权重的指数滑动平均”。每一位新的权重都按ema_weight ema_decay * ema_weight (1 - ema_decay) * current_weight更新相当于把近期的模型做了平滑。这样一来即使某一个 batch 的更新让模型跳到坏点EMA 权重也不会剧烈波动。在训练脚本里开启 EMA 的典型写法是ema_decay 0.999 # 每个 step 结束后同步更新 EMA 权重 def update_ema(model, ema_model, decayema_decay): with torch.no_grad(): for ema_param, param in zip(ema_model.parameters(), model.parameters()): ema_param.data.mul_(decay).add_(param.data, alpha1.0 - decay)ema_decay设 0.999 是主流做法表示每一步只让当前权重贡献 0.1% 的更新历史权重占比 99.9%。这个值越大权重越稳定但对新变化的跟随越慢。我一般训练早期用 0.99训练后期切到 0.999效果比全程固定值更好。ckpt_convert.py的作用就是把训练时维护的 EMA 权重和普通权重合并、剥离成可以直接用于推理的 checkpoint。实际操作中训练时保存的 checkpoint 往往包含优化器状态、判别器权重、EMA 影子变量等一堆东西推理时只需要生成器权重。直接 load 训练 checkpoint 去推理经常会报 key 不匹配或者直接不报错但结果全黑就是因为没有做权重转换。所以这个目录里的脚本必须跑通它是模型从训练走向部署的必经环节。4.3 train.py 的训练主循环和生成器/判别器更新节奏训练主循环是train.py的核心GAN 的训练节奏和普通 CNN 不一样。普通分类模型每个 step 只更新一次网络GAN 要为两个网络分别算损失、分别更新而且更新频率往往不同。一个典型的训练循环结构如下for batch in dataloader: img, gt, mask batch # ---------- 更新判别器 ---------- fake generator(img, mask) loss_d discriminator_loss(fake, gt) opt_d.zero_grad() loss_d.backward() opt_d.step() # ---------- 更新生成器 ---------- fake generator(img, mask) loss_rec psnr_loss(fake * mask, gt * mask) loss_adv adversarial_loss(fake, gt) loss_g loss_rec loss_adv * adv_weight opt_g.zero_grad() loss_g.backward() opt_g.step() # 更新 EMA 权重 update_ema(generator, ema_generator)判别器和生成器更新频率不一致常见做法是判别器每 1 步、生成器每 1 步交替更新1:1或者判别器每 5 步、生成器每 1 步5:1。在这个任务里我建议先从 1:1 起步。判别器更新太频繁会直接崩掉表现就是生成器的对抗 loss 无限上涨生成器更新太频繁则会使重建结果看起来“糊”因为生成器学会了骗判别器而不是忠实重建。我这里还有一个实战经验loss_adv的权重不要一开始就拉满。前期让重建损失主导把 PSNR 先拉到 30 以上再逐步加大对抗损失权重让细节变锐利。很多同学一开始就按 1:1 加权结果训练两小时生成出来的图全是笔迹虚影原因是重建任务根本没学会就去对抗了。从代码组织的角度说train.py里应该把adv_weight设计成可调参数方便你按这个思路动态调整。5. 避坑与排查手写擦除项目最常踩的六个坑5.1 坑一mask 把印刷体一起擦掉现象合成测试图时发现手写擦掉了但同一行的印刷体题目也缺胳膊少腿越靠笔迹边缘的印刷字损伤越严重。原因两种可能。第一种是compute_mask.py的二值化阈值设得太低把淡淡的印刷体像素也纳入了 mask 范围第二种是gauss.py的 sigma 设得过大高斯模糊把 mask 弥散到了笔迹外的印刷体区域。解决先调阈值把二值化阈值往上提保证 mask 只覆盖手写笔迹。再看gauss.py的 sigma从2.0开始往下减配合膨胀的 kernel size 一起调让 mask 边缘始终被控制在印刷体像素之外。排查顺序是先输入 mask 可视化确认再谈生成器的问题不要一上来就换模型。5.2 坑二训练出一堆黑色噪点或棋盘格伪影现象生成的图上擦除区域有明显的黑色颗粒、方块纹理像分辨率不够的图像被强行放大。原因生成器的转置卷积Transposed Convolution上采样倍数太高又没加合理的归一化导致棋盘格伪影。黑色噪点则表明判别器占了上风生成器输出被对抗损失逼到了不稳定区域。解决棋盘格优先检查生成器里是否用了 Pixel Shuffle 或者上采样卷积的组合不用纯转置卷积。黑色噪点则把对抗损失权重调低同时确认判别器的学习率是否高于生成器我一般让判别器学习率保持在生成器的 1/5 到 1/10。5.3 坑三PSNR 在涨、loss 在降但刷出来的图灰蒙蒙现象训练日志里 PSNR 已经到 35但实际输出的图在手写区域是一团灰雾看不出任何印刷体的痕迹。原因PSNR Loss 本质是逐像素回归误差它对“平均颜色正确”很满意。如果 GT 里那块区域大部分是白纸模型输出一片均匀的浅灰色MSE 其实很小PSNR 自然高。网络偷懒了没有真正重建印刷体结构。解决拉高 Perceptual Loss 的权重让模型在特征空间而不是像素空间对齐。同时检查 mask 加权区域如果 mask 误把大量白纸区域划入修复范围模型学到的就是“把区域涂均匀”同样会灰。这个坑靠 loss 下药靠 mask 根治。5.4 坑四CUDA out of memory现象训练到一半直接报RuntimeError: CUDA out of memory. Tried to allocate ... MiB前面所有训练白跑。原因自注意力模块的复杂度是O(N²)在 1024x1024 分辨率下特征图拉平后的自注意力矩阵巨大显存直接爆炸。这是非局部注意力网络在这类任务里的典型瓶颈。解决三种手段配合使用。第一把non_local.py里的自注意力计算限制在低分辨率特征图上只在stride16或stride32的特征层加 non-local不做高分辨率层。第二训练输入分辨率降到 512x512推理时才用原分辨率这个项目训练和推理分辨率本来就不要求一致。第三打开torch.utils.checkpoint梯度检查点用时间换显存。5.5 坑五转 ONNX 后推理结果和 PyTorch 不一致现象convert_onnx.py导出的 ONNX 模型跑出来的图颜色偏差明显有的区域直接变暗。原因最常见的是 normalize 和 denormalize 操作在转 ONNX 时被丢了或者数据集 loader 里做了 OpenCV 的 BGR 到 RGB 换序但 ONNX 导出和推理时没有做同样的操作。PyTorch 的推理管线里这些操作是 Python 代码不是网络的一部分ONNX 导出不会自动带上。解决把归一化、通道换序、最后的 denormalize 全部写进转 ONNX 的forward方法内部用torch.clamp限制输出范围。导出的模型在推理时输入直接喂[0, 255]的原始图像不做任何额外预处理。转换后用同一张图对比 PyTorch 和 ONNX 输出差异大于 1% 就别急着部署。5.6 坑六用 EMA 权重换掉普通权重后效果反而变差现象训练时记录 EMA 权重测试时替换上去结果 PSNR 和主观效果都比普通权重低。原因EMA 权重是历史权重的平均适合大多数情况下权重分布相对稳定的模型。但如果训练过程里学习率一直没降或者前几十个 epoch 学习率很高早权重的噪声会被一起平均进去反而拖后腿。解决EMA 只应该在训练收敛阶段用尤其是学习率降到 1e-5 之后。把ema_decay在前期设低、后期调高属于常规操作。另外模型保存时区分checkpoint_last.pth和checkpoint_best.pth用验证集 PSNR 决定哪个时刻的权重值得转 ONNX不要盲目迷信 EMA。6. 进阶用自己的试卷数据做微调以及肉眼之外的验证方法这份源码自带模型和文档能让你直接跑通全套流程。但毕设答辩时如果你的实验结果全是基于别人提供的数据评委一定会追问“你自己怎么造数据、怎么验证”。所以进阶玩法是用自己的试卷数据做一版微调用不了多少数据但能证明你真正理解了这套系统。数据准备按下面这个流程走# 1. 找 20~30 张不同科目的空白试卷 # 2. 用平板手写笔或者直接打印后手写注意覆盖题目区域 # 3. 逐张扫描得到 带手写版 和 干净版 两张图 # 4. 两张图要用完全相同的扫描参数分辨率建议 300dpi # 5. 按 16:3:1 分成训练、验证、测试集这里最容易忽略的是配准。带手写版和干净版必须保证纸张位置完全一致否则训练时模型会学到“重影”而不是“擦除”。扫描时两张图只要有一毫米的位置偏差PSNR 损失就会认为模型一直在犯错把模型往模糊方向逼。如果你的扫描仪无法保证两次放纸位置一致就改成数字方式先扫描干净试卷再用绘图软件在人眼可分辨的位置叠加手写笔迹虽然效果不如真实手写但用于训练是可行的。配准检查方法很简单把两张图在 Photoshop 里做差值看看边缘有没有白线有白线就是没对齐。微调时不需要从零开始训直接用项目给的预训练权重做 fine-tune学习率降到 1e-5只训练生成器不训练分割网络。如果你的手写风格和预训练数据差异不大20 张图跑 20 个 epoch 就足够看到效果了。验证阶段除了看 PSNR 和 SSIM我建议额外做两个检查。第一个是印刷体完整性检查把手写擦除后的图和你自己标注的印刷体区域原图做对比算一下印刷体区域的结构相似度如果 SSIM 低于 0.95说明修复过程伤到了印刷体这个模型不能直接上线。第二个是笔画残影检查把原图减去修复后的图差值图里能看到手写笔迹的轮廓这属于正常但如果差值图里出现成片的灰色区域说明不是擦除而是整体调暗了这是模型在偷懒。最后一个提醒mask 质量决定效果上限别把大量精力花在调生成器上。我做过很多次类似任务最后发现效果瓶颈几乎都出在 mask 上——不是把印刷体圈进来了就是把笔迹漏了。从那以后我每次跑这类项目都强制要求自己先花一小时把 mask 可视化调清楚再碰训练参数。希望这套拆解思路能帮你在复现这份源码时少走弯路祝顺利。本文还有配套的精品资源点击获取