简介这是一套基于机器学习算法的验证码识别完整项目主要面向计算机、人工智能、数据科学等相关专业的在校生或企业开发者解决验证码图片自动识别的实际需求适合作为课程设计、毕业设计或初期项目演示。压缩包共包含2000个文件其中1995张jpg格式验证码样本用于模型训练与效果验证4个py源码文件覆盖数据预处理、特征提取、模型训练与识别调用等环节另附1个md说明文档辅助环境配置与运行指导整个压缩包大小仅12.42MB轻量易用。源码中的Python脚本结构清晰从图片读取、灰度化、字符分割到训练集构建均有对应模块且全部经过测试运行方便按需修改和二次开发大量图片样本则展现了多样化的验证码底色与字符样式便于学习者观察数据分布、调整算法参数。目前已有163人学习下载无论初学者还是有一定基础的开发者都能借此快速理解验证码识别流程获得一套可运行、可扩展的参考实现。1. 验证码识别脚本到底在解决什么问题从图片到字符串的那一步拿到“基于机器学习算法的验证码识别脚本完整源码说明.zip”这个标题我第一反应是这包里应该有一整套能直接跑的流程数据准备、图像预处理、模型训练、单张预测。验证码识别这个方向这几年在机器学习领域热度一直很高本质上它不是一个单纯的OCR问题而是“图像处理 特征提取 分类模型”三件事的串联。很多人下载这类源码是想给自动化测试、数据采集的登录环节补上最后一块拼图。但实际跑起来会发现多数源码包卡在数据适配和字符分割的细节上模型本身反而是最不需要担心的部分。这篇文章就按我自己的落地习惯把验证码识别脚本从数据到预测再到排错讲清楚给你一条能照着复现的路径。2. 数据先行训练集从哪里来、怎么预处理才不会让模型翻车2.1 训练数据的三个来源自建生成器、公开数据集、合规采集验证码识别脚本的第一步不是写模型而是搞到足够多的标注图片。很多人直接去网上下载别人标注好的验证码图集但这类公开数据大多是英文数字混排跟你要处理的验证码风格对不上模型换了个背景颜色就集体失明。常见做法是优先考虑自建生成器用Python代码按目标站点的样式批量生成验证码字符集、字体、干扰线、扭曲程度都自己控制。这样做的好处是标注天然就是文件名省去了手工标注的脏活。公开数据集适合起步验证流程。像MNIST之类的手写字符集虽然风格差异大但可以用它先把“图像预处理 → 模型训练 → 预测”这条链路跑通确认脚本本身没有逻辑问题。合规采集一般放在最后写一个脚本每天积累真实样本拿真实场景里已经确认过的结果做增量训练。采集时要控制频率和规模只保留用于学习和研究的量不要对目标服务造成压力。实际落地时我一般把这三个来源按6:2:2混合自建数据保证覆盖率公开数据做泛化兜底真实样本用来校准分布。数据标注的格式也直接影响脚本的复杂度。最省事的做法是把字符画到固定尺寸的白色画布上文件名直接写成“字符_序号.png”比如“a_0001.png”。这样训练脚本读文件名就能得到标签不用额外解析JSON或CSV。如果验证码是四位定长的文件名可以统一叫“a3f9_0001.png”训练时按位置拆标签就行。这个细节虽然小但能避免后续维护标注文件时对不上号的尴尬。2.2 图像预处理pipeline灰度、去噪、二值化顺序不能乱验证码图片进入模型之前必须做预处理。顺序是我踩过坑才固定下来的先灰度再去噪最后二值化。很多新手上来就二值化噪声点会被当成字符像素保留下来后面分割时多出好几条异常投影。灰度用cv2.cvtColor这一步把三通道信息压缩成单通道颜色差异不再影响后续算法去噪用高斯模糊可以抑制背景纹理的短促跳变二值化的目标是把前景字符和背景彻底分开Otsu自动阈值是个务实的选择。import cv2 import numpy as np def preprocess(image_path): # 读成灰度图验证码颜色信息对字符识别贡献很小保留反而干扰阈值计算 img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) # 高斯模糊卷积核大小取(3, 3)sigma0表示让函数按核尺寸自动推算 img cv2.GaussianBlur(img, (3, 3), 0) # Otsu二值化阈值由算法自动求ret是求出的阈值dst是处理后的图 ret, dst cv2.threshold(img, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) return dst这段代码里最关键的是阈值类型用了THRESH_BINARY_INV也就是反转二值化。大多数验证码的背景是浅色、字符是深色直接二值化后字符是黑色的在白色背景上不便于后续找轮廓和做投影。反转后字符变成白色、背景变黑所有图像处理库的“前景提取”逻辑都默认白色是有意义的像素。Otsu算法会自动寻找把两类像素分得最开的阈值好处是不同图片亮度不一致时不用手动调阈值但遇到背景纹理特别重的图Otsu也会失效后面避坑章节会专门说。2.3 字符分割的两种做法投影法简单、连通域法扛干扰预处理完成后定长验证码要切成单个字符。最简单的做法是垂直投影法把二值图按列求和统计每一列上有多少个白色像素字符所在列的值明显大于背景列的值连续非零的列就构成一个字符块。投影法对字符间距均匀、没有粘连的验证码识别率很高代码也就十几行。def split_by_projection(binary_img, min_width4, gap_threshold2): # 按列求和得到一维数组值大于0的列说明这一列存在字符像素 h, w binary_img.shape col_sum np.sum(binary_img 0, axis0) # 遍历列找到字符块的起止位置 blocks [] start None for x in range(w): if col_sum[x] 0 and start is None: start x elif col_sum[x] 0 and start is not None: if x - start min_width: blocks.append((start, x)) start None # 过滤掉干扰线造成的短块合并距离过近的块 merged [] for block in blocks: if merged and block[0] - merged[-1][1] gap_threshold: merged[-1] (merged[-1][0], block[1]) else: merged.append(block) return mergedmin_width和gap_threshold是两个需要调的参数。min_width用来过滤干扰线被切断后遗留的窄条一般设为图片宽度的1/20左右gap_threshold用来合并字符内部因为笔画断开产生的间隙比如字母“i”上面的点和下面的竖线之间可能有一列空白间隙小于阈值就会被并成一个字符块。这两个参数必须根据验证码的实际尺寸调整我常用的验证码图片宽度在120到160像素之间min_width取4、gap_threshold取2基本够用。连通域法比投影法更抗干扰。它对二值图跑connectedComponentsWithStats把每一个独立连通的白色区域都找出来再按面积过滤掉噪声。遇到字符之间有轻微粘连、投影法切不开的场景连通域法可以先把干净字符拆出来剩余的粘连区域再走一次坚向切割。代价是连通域法对笔画断开的字符不友好一个字符断成两段会被当成两个字符。所以我的习惯是投影法打底、连通域法做校验两种方法结果不一致时把图片记录下来人工确认一次积累多了回头看是哪个环节偏了。2.4 标注文件怎么组织标签对齐模型输出位置信息要留一份字符切好之后每个字符小图要对应一个标签。自建生成器生成图片时就能顺手把标签写进文件名但真实样本和公开数据集没有这个条件需要额外标注。我一般用一个Python脚本把分割后的字符小图批量保存到一个文件夹里文件名前缀带上所属图片的编号再用一个CSV记录每张图片的分割结果。CSV的列包括图片文件名、字符内容、字符在原图中的位置坐标。位置坐标看着多余但增量训练或换模型时可以直接用坐标从原图重新裁剪不用重跑一次分割。import csv def save_cells(binary_img, blocks, label, img_name, csv_writer): # blocks是分割得到的(x0, x1)区间label是对应整图标签 # 这里假设标签长度等于分割得到的字符块数 for i, (x0, x1) in enumerate(blocks): cell binary_img[:, x0:x1] cell_name f{img_name}_{i}.png cv2.imwrite(fcells/{cell_name}, cell) csv_writer.writerow([cell_name, label[i], x0, x1])这里有一个容易翻车的假设标签长度必须等于分割得到的字符块数。实际处理时粘连会导致块数少、笔画断裂会导致块数多一旦对不上训练脚本会报index out of range或者更隐蔽地产生错位标注。所以我在保存之前会加一个断言块数和标签长度不一致就跳过这张图并打印警告。先保证训练数据干净再追求数量这是机器学习中的数据处理最基本的一条原则。3. 特征与模型选型SVM做兜底CNN做精度3.1 为什么不直接上CNN数据量不够时SVM反而更稳验证码识别用深度学习模型很多人默认就该用CNN但实际工程里要先看手上有没有足够的标注数据。字符类别一般是36类26个字母加10个数字每个类别如果有几百张样本CNN能学出不错的特征如果每个类别只有几十张CNN很容易过拟合训练集准确率99%验证集准确率不到80%。这种时候传统机器学习算法反而更稳。SVM配合人工设计的特征比如HOG是验证码识别领域里久经考验的组合。HOG提取的是梯度方向的分布统计对字符的笔画边缘和形状变化敏感但对颜色的变化完全免疫。SVM在样本量小、维度不高的情况下泛化能力很强而且训练速度快不需要GPU普通笔记本电脑几分钟就能跑完。我做验证码识别脚本时习惯把SVM作为第一版方案先把整个流程跑通再逐步增加数据量等SVM准确率达到瓶颈再换CNN。这样每个阶段都有明确对比不至于一上来就陷入深度学习那套调参黑洞。3.2 用HOG特征喂SVM最小可跑通的训练示例HOG特征提取用skimage的hog函数即可每个字符图统一缩放到32x32像素。缩放这一步很重要验证码字符大小不一致直接喂原始尺寸会导致特征向量维度不同SVM没法训练。缩放后每张字符图变成固定长度的特征向量然后用StandardScaler做标准化把每个维度拉到一个量级避免某些维度的数值范围压制其他维度。from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from skimage.feature import hog import cv2 import numpy as np def extract_hog(cell_img): # cell_img是切好的单字符图统一缩放到32x32 resized cv2.resize(cell_img, (32, 32)) # pixels_per_cell控制特征粒度cells_per_block做局部归一化 features hog( resized, pixels_per_cell(8, 8), cells_per_block(2, 2), visualizeFalse ) return features # 假设X_cells是字符图列表y_labels是对应标签 X np.array([extract_hog(cell) for cell in X_cells]) y np.array(y_labels) scaler StandardScaler() X_scaled scaler.fit_transform(X) model SVC(kernelrbf, C10, gammascale, probabilityFalse) model.fit(X_scaled, y)HOG参数里pixels_per_cell取(8, 8)意味着每个局部区域统计8x8像素内的梯度方向cells_per_block取(2, 2)表示每2x2个局部区域做一次归一化。32x32的图被分成4x4个cell再按2x2组合成block最终特征维度是324维。这个维度对SVM来说非常友好训练和预测都快。SVC的C值控制误分类惩罚力度C10是比较中庸的选择gammascale让模型根据特征维度自动计算gamma值避免手动调参的玄学。3.3 CNN接管精度Keras搭一个轻量字符识别模型当数据量上来之后SVM的准确率一般会停在95%左右上不去这时换成CNN才有意义。字符识别用的CNN不用很深验证码字符本身结构简单两三组卷积加池化就够。模型输入统一为32x32灰度图输出维度是字符类别数。下面这个网络结构是我一直在用的基线参数量小、不容易过拟合CPU上也能跑预测。from tensorflow.keras import layers, models def build_cnn(input_shape(32, 32, 1), num_classes36): model models.Sequential([ layers.Conv2D(32, (3, 3), activationrelu, paddingsame, input_shapeinput_shape), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activationrelu, paddingsame), layers.MaxPooling2D((2, 2)), layers.Flatten(), layers.Dropout(0.5), layers.Dense(128, activationrelu), layers.Dense(num_classes, activationsoftmax) ]) model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] ) return modelpaddingsame让卷积输出尺寸和输入一致避免特征图边缘信息过早丢失Dropout(0.5)是防止过拟合的关键它在训练时随机丢弃一半神经元让网络不能过度依赖某一组特征。训练时batch_size取32或64epochs设30配合早停策略验证集准确率连续5轮不提升就停止。如果训练过程震荡剧烈把学习率从默认的0.001降到0.0003多数情况会稳定下来。3.4 模型选型的判断依据先看准确率曲线再看单次预测耗时SVM和CNN到底选哪个不是拍脑袋决定的。我在训练完SVM后会先拿200张独立标注的图片做测试记录两个数字整体准确率和单字符准确率。整体准确率指一张四位验证码四个字符全部识别正确的比例单字符准确率指所有切出来的字符图里识别正确的比例。四位验证码的单字符准确率若是98%整体准确率只有约92%因为四个字符必须全部对才算对。如果单字符准确率已经95%以上但整体准确率上不去问题多半出在分割环节而不是模型这时换CNN也救不回来。CNN模型训练完成后同样跑这200张测试图把两个模型的结果逐张对比标记出SVM错而CNN对的样本和CNN错而SVM对的样本。前者说明特征不够丰富CNN学到了HOG没捕捉到的结构后者往往是某类字形在训练集里出现太少属于数据问题而不是模型问题。这种对比能帮你把有限的精力投到真正拖后腿的环节上而不是盲目堆模型复杂度。4. 把脚本组织起来目录结构、预测流程与四个关键参数4.1 源码包里的目录结构怎么设计最顺手下载别人做的验证码识别脚本第一件事不是跑代码而是看目录。一个结构清晰的源码包应该把数据、模型、脚本、说明文档分开不能把所有.py文件堆在根目录。我一般会这样组织captcha_solver/ ├── data/ │ ├── raw/ # 原始验证码图片 │ ├── cells/ # 切分后的单字符图 │ └── labels.csv # 标注信息 ├── models/ # 训练好的模型文件和标准化器 │ ├── svm_model.pkl │ └── scaler.pkl ├── scripts/ │ ├── generate_data.py # 自建数据生成器 │ ├── preprocess.py # 图像预处理 │ ├── split.py # 字符分割 │ ├── train_svm.py # 训练SVM │ └── train_cnn.py # 训练CNN ├── main.py # 预测入口读取图片输出结果 └── README.md # 说明文档写清依赖和运行方式“源码说明.zip”里的“说明”二字我理解指的正是README这份文档。一个合格的说明文档至少要写清楚三件事Python版本和依赖库版本、模型文件放在哪个目录、预测脚本的输入输出格式。很多源码包跑不起来不是代码有问题而是说明文档里漏了模型文件的存在性检查。我自己做脚本时会在main.py开头加一个模型文件缺失提示文件不存在就直接报错并打印期望路径比让用户看TypeError猜原因省心得多。4.2 预测流程输入一张图输出一个字符串预测脚本的逻辑必须和训练时的预处理、分割逻辑完全一致。这是整个验证码识别脚本里最容易出错的地方训练时二值化取了阈值反转预测时忘了加模型看到的输入分布完全变了精确率直接跳水。我写预测入口时会把预处理和分割函数单独封装到一个模块里训练和预测共用同一份代码而不是各写一份。from scripts.preprocess import preprocess from scripts.split import split_by_projection from scripts.features import extract_hog import joblib, cv2 def predict_captcha(image_path, model, scaler, split_fn, preprocess_fn): # 预处理灰度、去噪、二值化反转 bin_img preprocess_fn(image_path) # 分割得到每个字符的左右边界 blocks split_fn(bin_img) result [] for x0, x1 in blocks: cell bin_img[:, x0:x1] # 特征提取和标准化使用的scaler必须是训练时fit的同一个对象 feat extract_hog(cell).reshape(1, -1) feat_scaled scaler.transform(feat) pred model.predict(feat_scaled)[0] result.append(str(pred)) return .join(result) model joblib.load(models/svm_model.pkl) scaler joblib.load(models/scaler.pkl) print(predict_captcha(test_samples/a3f9.png, model, scaler, split_by_projection, preprocess))这里有个容易被忽视的细节scaler必须用训练时fit好的对象不能对单张预测图重新fit_transform。StandardScaler的fit会计算训练集的均值和方差重新fit等于用当前这张图自己的分布做标准化喂给模型的特征分布就被篡改了。正确做法是训练完把scaler和model一起joblib.dump保存预测时load出来直接用transform方法。4.3 四个关键参数分割阈值、最小宽度、模型置信度和图像缩放尺寸验证码识别脚本调参核心就是四个参数。第一是二值化阈值用Otsu自动求就行但有些图片背景和字符对比度不够需要固定阈值兜底我一般设127作为Otsu失效时的降级方案。第二是字符分割的最小宽度取值过大会切掉窄字符如“1”“l”过小会留下干扰碎片通常为图片宽度的3%到5%。第三是模型输出的置信度阈值验证码识别会存在模棱两可的字符SVM的decision_function和CNN的softmax都可以输出置信度置信度低于0.6时标记为“待人工确认”比强行输出一个错误结果要务实。第四是字符图的缩放尺寸SVM统一用32x32CNN也是32x32但如果验证码是高瘦型字符长宽比差异大可以试试16x48这样的非正方形尺寸保留更多形状信息。这些参数之间是耦合的改动分割参数会影响字符图质量改动缩放尺寸会影响特征分布。我的习惯是写一个简单的网格搜索脚本把min_width和gap_threshold各取几个候选值跑一遍测试集记录整体准确率选准确率最高的组合固定下来。模型参数反而不需要频繁调SVM的C值、CNN的卷积核数量只在换数据集时考虑调整。4.4 脚本运行时依赖Python版本、OpenCV和scikit-learn的搭配源码包能不能一键跑起来依赖管理是关键。常用组合是Python 3.8或3.10OpenCV用4.x版本scikit-learn用1.x版本TensorFlow用2.x版本。OpenCV 4.x和3.x的API有差异比如findContours的返回值顺序不同旧代码在4.x上会报错。我自己的做法是在README里写一个requirements.txt风格的依赖清单但不强制精确到小版本只锁大版本避免用户装的时候因为版本冲突卡住。shell脚本习惯可以在这里体现写一个setup.sh自动创建虚拟环境并安装依赖熟悉Linux脚本的人可以直接跑Windows用户也能手动照做。#!/bin/bash python -m venv venv source venv/bin/activate pip install --upgrade pip pip install opencv-python scikit-learn numpy joblib # 训练CNN才需要tensorflow只跑SVM可以不装 pip install tensorflow-cpu这个setup脚本的好处是把环境准备过程固化下来换机器时不用回忆当初怎么装的。注意GPU版本的TensorFlow在部分Windows机器上安装容易报错验证码识别这种小模型CPU版完全够用没必要给自己挖坑。装好之后跑一条预测命令能出结果就说明环境是通的。5. 避坑验证码识别脚本最常见的5个翻车点5.1 二值化阈值一刀切字符断裂成两截现象预处理后字符笔画的中间出现白色空洞一个“8”被二值化后变成两个上下分离的圆弧分割时被当成两个字符。原因验证码图片光照不均匀字符某些区域的灰度值和背景接近Otsu求出的全局阈值把这些区域误判成了背景。全局阈值对整张图只用一个分割线遇到这种局部亮度变化就无能为力。解决改用自适应阈值cv2.adaptiveThreshold按每个像素周围邻域的灰度来决定该像素的分类局部对比度不足的问题能被缓解。参数blockSize设31或51C值设5到10之间先在小样本上调出肉眼看着最干净的图再批量应用到整个数据集。如果自适应阈值过拟合到噪声上可以先用高斯模糊把噪声压一压。5.2 粘连字符分割错位识别结果整串错乱现象验证码中两个相邻字符笔画连在一起投影法把两个字符当成一个宽块预测时这个宽块只输出一个字符后续字符全部顺延错位整张验证码结果错误。原因投影法靠列和为零的间隙来分块字符粘连意味着列和始终大于零没有天然的分割点。这类问题在验证码加了波浪形扭曲后尤其严重字符整体偏移导致投影边界混乱。解决先用形态学腐蚀操作把粘连处的细线断开再用投影法分割腐蚀的核大小取2x2迭代次数1次。腐蚀会把笔画变细对于原本就细的字符可能造成信息丢失所以分割完要检查字符宽度是否低于阈值。更稳的方案是改用“滴水算法”按字符轮廓的凹陷处找分割路径原理比投影法复杂一些但应对波浪扭曲更有效。5.3 训练集和真实图分布不一致模型在实战场上掉点现象自建生成器训练出的模型在生成图上准确率有97%拿到真实采集的验证码上只有70%且错误集中在某几个字符上。原因生成器使用的字体、噪点类型、扭曲参数和真实验证码有差异。字符的笔画形状差一点HOG特征和CNN学到的特征分布就偏一点。机器学习模型的训练数据分布和推理数据分布不一致时离线指标再好看上线也都是白搭。解决在自建生成器里故意加“随机扰动”包括随机旋转±10度、随机缩放、随机加高斯噪声和随机干扰线。这样生成的数据能覆盖更多边缘情况。同时把合规采集到的真实样本按20%的比例混入训练集并且定期用真实样本做一次验证集评估一旦发现准确率下滑就补采样本重新训练。5.4 验证码字符集不确定输出结果对不上格式现象模型设计时假设只识别数字测试时遇到字母验证码预测结果全是数字脚本也不报错直接把错误结果交给下游。原因字符集定义错了。验证码系统可能区分大小写也可能是纯数字或数字加小写字母。类别数在模型输出层已经定死训练时没见过的字符类别永远不可能被预测出来。解决先把字符集确认清楚再决定模型输出维度。如果目标验证码包含大小写字母和数字共62类模型输出层改成62训练数据里每一类都准备足够样本。需要注意某些验证码把容易混淆的字符如“0”和“O”、“1”和“l”直接移除了这种信息可以写进字符映射表预测时把不可能出现的类别对应位置置信度直接置零能减少一部分误判。5.5 脚本执行慢批量场景被卡在性能瓶颈上现象单张验证码识别耗时超过1秒批量处理几百张图片时脚本卡到没法用。排查后发现瓶颈不在模型预测而在图像预处理和分割的重复计算上。原因OpenCV的imread和resize在小图片上开销不高但如果处理的是高分辨率截屏缩放耗时会被放大。另外每次预测都重新加载一次模型文件SVM模型虽小但joblib.load有大文件反序列化开销循环调用时叠加明显。解决模型加载移到脚本启动时只做一次预测函数只接受预处理好的numpy数组。批量图片用cv2.imread一次性读入内存再并行调用分割和预测。多进程比多线程有效因为Python解释器的GIL会让多线程在CPU密集任务上几乎不加速。用concurrent.futures.ProcessPoolExecutor跑4个进程批量吞吐量能提升三倍以上。6. 进阶把单张识别变成批量接口顺便给脚本做一次自检单张预测跑通之后下一步是把它封装成批量接口。常见做法是起一个Flask应用POST请求里带图片二进制流返回JSON格式的识别结果。这样自动化测试框架和数据处理脚本都能通过HTTP调用识别能力不用直接import源码包里的函数耦合度更低。from flask import Flask, request, jsonify import joblib app Flask(__name__) model joblib.load(models/svm_model.pkl) scaler joblib.load(models/scaler.pkl) app.route(/captcha/recognize, methods[POST]) def recognize(): # 接收图片字节流转成numpy数组后走统一预处理流程 data np.frombuffer(request.get_data(), dtypenp.uint8) img cv2.imdecode(data, cv2.IMREAD_GRAYSCALE) blocks split_by_projection(preprocess(img)) text .join(predict_block(b, model, scaler) for b in blocks) return jsonify({result: text, confidence: 0.95})接口上线前一定要做一次量化自检。我习惯准备200张带标注的独立测试图计算整体准确率和平均耗时准确率低于90%就继续调高于95%才接入业务。单张耗时记录在日志里连续多次超时或结果全空说明接口被异常数据冲击加一层图片格式校验更稳妥。自检过程中我发现最值得练的习惯是保留每次错误预测的输出图按照错误类型归类命名。字符错乱的就存分割后的字符图模型误判的就存整图。积累半个月再看错误分布能发现模型和数据哪边在退化。验证码识别没有一步到位的解法每次改动都要用一套固定测试集回归不然改好一个字符又弄坏另一个。这个习惯帮我避免了很多次“修好东墙拆西墙”的返工希望帮到你。本文还有配套的精品资源点击获取