简介基于 OpenCV 的人脸识别系统面向计算机视觉学习者、研究者和开发者提供一套从人脸检测、对齐、特征提取到身份识别与用户管理的完整项目代码。压缩包共 44 个文件包含 6 个 Python 脚本主程序、图形界面、人脸工具函数、设置与视频流处理等、5 个 Haar 级联 XML 分类器用于检测人脸、眼睛、鼻子和嘴巴、1 个 YML 训练模型、1 个 pickle 用户信息文件以及 28 张人物图像样本、1 个 mp4 演示视频和说明文档总体约 19.27 MB。目前已有 719 人学习下载适合用于课程实验或毕业设计等场景。项目目录结构清晰核心逻辑拆分到多个模块方便独立运行和修改演示视频能帮助快速了解系统操作流程图片数据集与训练结果可直接用于测试识别效果。配合说明文档可理解项目整体调用流程与模块设计适合系统学习 OpenCV 人脸识别流程并在此基础上扩展新功能。1. 从识别不了到能考勤用这套OpenCV人脸识别系统解决了什么人脸识别这个词现在几乎被深度学习霸占了大家一上来就想到Facenet、ArcFace要GPU、要几十万张样本。但很多实际场景只有一台普通笔记本一个USB摄像头需要的是今天注册、明天就能用的轻量方案。这套基于OpenCV的人脸识别系统就是这么个定位用Haar级联检测人脸用LBPH算法做身份判别CPU下就能实时运行。压缩包里从haarcascade_frontalface_default.xml到result.yml再到Manage.py、FaceGui.py、run.py把注册人员→采集人脸→写入数据集→训练模型→视频流识别整条链路都串起来了。.dataset目录里那几十张people.2.*.jpg就是注册样本video.mp4是拿来验证的测试视频。对刚接触OpenCV的开发者这是个能跑通的课设框架对工作五年以上的人它则是一个观察传统视觉管线怎么组织、怎么调参数的绝佳标本——尤其是那堆Haar级联XML和LBPH训练代码值得拆开看。2. VideoStream与Haar级联先让人脸从画面里漏出来2.1 为什么用独立线程读摄像头而不是直接read打开VideoStream.py这类文件你会发现它不会直接在循环里写cap.read()而是独立开一个线程把最新一帧存到内存里主线程随时去取。原因很直白cap.read()在USB摄像头上常常会阻塞一旦传输不稳定主循环就跟着卡顿人脸检测的实时性就没了。独立线程读帧主线程只做detectMultiScale和识别这是OpenCV视频处理最常见的解耦方式。参考实现里一般长这样import cv2 from threading import Thread class VideoStream: def __init__(self, src0, width640, height480): self.stream cv2.VideoCapture(src) self.stream.set(cv2.CAP_PROP_FRAME_WIDTH, width) self.stream.set(cv2.CAP_PROP_FRAME_HEIGHT, height) self.grabbed False self.frame None self.stopped False def start(self): Thread(targetself.update, daemonTrue).start() return self def update(self): while not self.stopped: if not self.grabbed: (self.grabbed, self.frame) self.stream.read() def read(self): return self.frame def stop(self): self.stopped True这段代码的关键在于grabbed标志位。如果摄像头突然丢帧read()返回的可能是空而stop()能保证线程正常退出。注意daemonTrue主程序退出时线程会跟着销毁避免僵尸线程占用摄像头。src0代表默认摄像头如果接的是USB外接设备可能要改成1或2如果要读网络摄像头把src换成rtsp://user:passip:port/stream1即可。在Setting.py里通常就是配置这些源和分辨率的地方。2.2 加载Haar特征文件XML背后到底存了什么压缩包里那一堆haarcascade_mcs_mouth.xml、haarcascade_mcs_eyepair_big.xml、haarcascade_mcs_nose.xml、haarcascade_frontalface_default.xml本质上是AdaBoost训练出来的强分类器。每个XML存储了特征类型、阈值、左右子节点索引、级联层级等信息。OpenCV加载后做的是滑窗检测图片被缩放到不同尺度窗口在每一层缩放图上滑动用几十个特征快速拒绝非人脸区域。实际加载和检测的代码很简洁import cv2 face_cascade cv2.CascadeClassifier(haarcascade_frontalface_default.xml) eye_cascade cv2.CascadeClassifier(haarcascade_mcs_eyepair_big.xml) gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5, minSize(60, 60)) for (x, y, w, h) in faces: roi_gray gray[y:yh, x:xw] eyes eye_cascade.detectMultiScale(roi_gray, scaleFactor1.1, minNeighbors3)这里有几处值得说。scaleFactor1.1表示每次搜索窗口扩大10%这个值越小检测越慢但越准minNeighbors5表示每个候选矩形至少要有5个相邻的检测框才算数值越大漏检越多值越小误检越凶。如果检测不到人脸优先把minNeighbors降到3或者把minSize调小——很多情况下是目标在画面里太小被minSize直接过滤掉了。另外注意Haar特征是基于灰度图的所以必须先把帧转成gray否则CascadeClassifier会直接报错或检测结果全空。2.3 detectMultiScale的参数scaleFactor、minNeighbors、minSize的调节公式这三个参数是人脸检测阶段唯一需要认真调的东西。记住一个原则先用低minNeighbors比如2把轮廓跑出来再用高阈值提高准确率。工程上我一般这么调现象方案漏检多尤其小脸减小minSize到(40,40)调低scaleFactor到1.05误检多把背景当人脸调高minNeighbors到8~10加入眼睛级联二次验证画面复杂耗时高将scaleFactor提至1.2检测帧直接缩放到320宽代码里如果加了眼睛二次验证误检会明显下降。因为在正脸条件下人眼一定在人脸框的偏上区域。这个组合在课堂点名场景下很实用教室后排人脸小用minSize(40,40)能找回一部分代价是CPU占用率上升。注意Haar检测本身不支持旋转人脸头部超过15度基本就丢这是它的物理边界不必硬磕。3. FaceTools与LBPH识别器训练、序列化与result.yml的真相3.1 LBPH为什么在小样本下能打传统OpenCV人脸识别里EigenFace、FisherFace和LBPH三选一这个项目用的是LBPH也就是局部二值模式直方图。它把一张人脸灰度图切成若干小网格对每个像素和它周围一圈像素比较大小得到一串二进制编码然后统计每个网格的直方图最后把所有直方图拼接起来作为特征向量。相比EigenFace那种基于PCA的方法LBPH对光照变化不那么敏感也不要求训练集必须做PCA降维后的统一维度实现起来最简单。FaceTools.py里核心训练代码常见是这样import cv2 import os import numpy as np def train_recognizer(dataset_path.dataset): recognizer cv2.face.LBPHFaceRecognizer_create() faces, labels [], [] for filename in os.listdir(dataset_path): if filename.endswith(.jpg): label int(filename.split(.)[1]) img cv2.imread(os.path.join(dataset_path, filename), 0) faces.append(img) labels.append(label) recognizer.train(faces, np.array(labels)) recognizer.save(result.yml) return recognizer注意filename.split(.)[1]这行它把people.2.1.jpg解析出标签2。也就是说这套系统的用户ID放在文件名的第二个字段。这种命名方式看起来随意但确实是最省事的一个文件夹一个ID对应一堆图片再在usrs_info.pickle里把ID映射成姓名。pickle存的就是一个字典{1: 张三, 2: 李四, ...}。训练完后result.yml就是LBPH模型文件里面写着每个ID的直方图特征。LBPH默认半径1、邻居8、网格8x8这些在LBPHFaceRecognizer_create时可以通过参数调整后面第5章会具体说。3.2 置信度predictedLabel和confidence是怎么算出来的识别阶段用predict()函数它会返回标签和置信度。置信度越小代表距离越近通常小于50是可靠匹配50-80需要看阈值大于80基本可以判定为不认识的陌生人。recognizer cv2.face.LBPHFaceRecognizer_create() recognizer.read(result.yml) label, confidence recognizer.predict(face_roi_gray) if confidence 70: name user_info.get(label, 用户{}.format(label)) else: name Unknown这里的confidence本质上是待测样本直方图与训练集中每个类别直方图的卡方距离。如果同一ID的训练图片太少或者表情差异过大置信度会虚高。所以我把70当作默认阈值但在实际部署时必须用一批没参与训练的照片做测试统计各类的置信度分布再定阈值。理论上讲每个人内部置信度差异和跨人置信度差异的交叉点附近就是最优阈值。这个思路对应人脸识别里的等错误率概念虽然LBPH没有显式的等错误率计算但调阈值时按这个思路走就够用了。3.3 为什么是pickle而不是SQLiteusrs_info.pickle这种存储方式常被嘲笑小学生做法但在这种小系统里非常合理。原因有两点一是读写方便pickle.dump和pickle.load各一行二是整个系统里的注册操作并发量极低不会出现多进程同时写文件的竞争问题。如果用SQLite要建表、做增删改查反而把系统搞重了。不过pickle有个坑它按Python对象序列化不同Python版本可能不兼容。我遇到过opencv-python 4.5和opencv-contrib-python 4.6之间读取旧pickle报EOFError的情况。如果你的环境里出现这类问题先把usrs_info.pickle删掉用Manage.py重新注册几个用户再训练一次。注意opencv-python和opencv-contrib-python的cv2.face模块必须来自后者如果导入cv2.face失败先卸载官方版安装opencv-contrib-python。4. Manage.py与FaceGui.py人员注册、脸部采集与实时识别的工作流4.1 注册流程拆解从输入姓名到生成模型Manage.py这个模块解决的是系统怎么记住一个人。它的背后是三个动作采图、存图、训练。采图阶段系统会通过VideoStream按一定间隔保存人脸区域到.dataset目录图片命名像people.2.10.jpg这样。一个ID采集20~30张是比较合理的量太少了容易过拟合太多了训练耗时且冗余。一个典型的管理端逻辑如下# Manage.py 核心流程简化示例 import cv2 import os import pickle def register_user(user_id, user_name, cap, face_cascade): count 0 while count 30: ret, frame cap.read() gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.2, 5, minSize(80, 80)) for (x, y, w, h) in faces: face gray[y:yh, x:xw] face cv2.resize(face, (200, 200)) cv2.imwrite(f.dataset/people.{user_id}.{count}.jpg, face) count 1 with open(usrs_info.pickle, wb) as f: info pickle.load(open(usrs_info.pickle, rb)) if os.path.exists(usrs_info.pickle) else {} info[user_id] user_name pickle.dump(info, f)这段代码里有个细节保存前先resize到200x200。原因有两个一是LBPH的直方图计算不要求固定尺寸但统一尺寸能让后续直方图保留更多空间特征二是.dataset里的样本会直接输入recognizer.train()尺寸差异会导致直方图对齐失真。采集时用1.2的scaleFactor是求快如果发现采集到的图歪斜模糊再把值降到1.1。80x80的minSize保证只有足够大的正脸才被保存避免存一堆远距离的模糊块。4.2 FaceGui.py的实时识别循环FaceGui.py通常承担两件事显示摄像头画面叠加上识别结果。这里要小心一个性能点识别必须在检测到的人脸ROI上进行但ROI原图往往尺寸大、噪声多最好先归一化。工程实现上我会在识别前对ROI做一次直方图均衡并统一缩放到训练时的大小。def predict_face(frame): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.1, 5, minSize(60, 60)) for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (200, 200)) roi cv2.equalizeHist(roi) label, conf recognizer.predict(roi) if conf 70: cv2.putText(frame, f{id2name[label]} {conf:.1f}, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) else: cv2.putText(frame, Unknown, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2) cv2.rectangle(frame, (x, y), (xw, yh), (255, 0, 0), 2) return frame注意equalizeHist放在resize之后直接对原始ROI做均衡化会因为光照在边缘产生明暗突变影响后续特征提取。putText中显示的置信度有助于现场调试如果发现同一个人多张照片置信度差异很大说明样本里混入了歪头或遮挡图回去清理数据集比调阈值更有效。这个循环里唯一耗时的部分是detectMultiScale在640x480分辨率下大约20~40毫秒识别本身的LBPH预测只要几毫秒整体能到25帧左右。4.3 训练与识别分离为什么每次注册完都要重新训练很多学习者会把train_recognizer()放在每次打开GUI时自动执行这其实是个坏设计。重新训练意味着遍历所有.dataset图片几百张还能忍几千张就会让启动时间变得不可接受。正确做法是只在注册完新用户后执行一次训练。如果使用Manage.py单独训练那么run.py或FaceGui.py只负责读取result.yml两者之间通过文件解耦。调度关系可以这样理解文件职责运行时机Setting.py摄像头源、分辨率、路径常量每次启动被其他模块导入Manage.py注册用户、采集样本、训练模型手动执行如python Manage.pyFaceGui.py加载模型实时识别并显示手动执行如python FaceGui.pyrun.py无GUI的识别主循环手动执行适合无桌面环境这种分层的好处是训练和识别互不阻塞。我在实际部署中还会把result.yml改名加上日期比如result_20250601.yml方便回滚。如果你在FaceGui.py里看不到训练调用不要觉得项目不完整——它是故意这么拆的。5. 置信度阈值、直方图均衡与数据集清洗让识别从够用到好用5.1 用等错误率思路定阈值前面说置信度阈值设为70但这是基于样本质量一般的经验值。在正式环境里我会为每个人预留10张验证集照片跑一遍识别画出两类分布同一人的置信度分布类内不同人的置信度分布类间。类内曲线和类间曲线的交点就是最佳阈值。举个例子如果类内置信度大多在40~60区间类间大多在90~120区间那么阈值定在75左右最合适。实际操作写个脚本或临时循环即可# 统计阈值用的小脚本 for img_path in val_images: img cv2.imread(img_path, 0) label, conf recognizer.predict(img) true_label int(img_path.split(.)[1]) result TP if true_label label else FP print(conf, true_label, label, result)然后把输出丢到Excel或画个简单直方图。注意这个验证集不能来自训练样本必须重新拍一组。如果某个人在验证时频繁被识别成另一个人问题多半出在训练样本上——他的照片里混了别人的脸或者两人的眼镜、发型过于接近。5.2 光照预处理看不清的时候别只怪算法不知道你有没有遇到这种状况同一个ID在白天能识别晚上开了日光灯就变成Unknown。原因就是LBPH对光照虽然比PCA温和但直方图统计的是相对灰度关系光照变化剧烈时局部二值模式会被噪声覆盖。我的做法是识别前端加cv2.createCLAHE而不是普通的equalizeHist。clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) roi clahe.apply(roi)clipLimit控制对比度增强的强度太大会把噪声放大通常在1.5~2.5之间调。tileGridSize是分块大小8x8在200x200的ROI上表现不错。如果场景里频繁出现逆光可以在采集训练样本时就统一用CLAHE预处理让模型的训练分布和预测分布尽可能一致。这是常被忽略的一点训练时不做预处理预测时却用等于两个数据分布不一致效果必然打折。5.3 清洗people.2.*.jpg这类冗余样本.dataset里几十张people.2.1.jpg这样的文件看着很多但里面大概率有大量低质量图模糊的、只截到半个脸的、曝光过度的。LBPH的直方图对位置失真很敏感这些坏样本会把模型学偏。我建议做一次简单清洗写个脚本读取每张图用Haar级联重新检测一次检测不到人脸的直接移到trash/目录。更有价值的筛选是PSNR或清晰度计算但工程上最简单的办法是直接用detectMultiScale判断人脸是否完整。另外同一人30张照片不要太集中。如果10秒内连续抓拍姿态光照都差不多等于只有一次有效信息。我一般会把采集间隔拉开到0.5秒用户轻轻转脸这样样本才有区分度。清洗完重新训练后你会发现之前那些怎么调阈值都不准的问题有一半其实是数据集坏了。调参的最后一步是把你自己的摄像头分辨率固定到与训练样本一致。如果你的训练样本统一是200x200识别时ROI也该resize到200x200。这听起来像废话但我见过太多人在这一步用192x192或者240x240然后奇怪为什么置信度高了一截。尺寸不一致时直方图统计的网格映射完全错位再好的阈值设计都不顶用。本文还有配套的精品资源点击获取