简介疲劳状态识别是计算机视觉中的典型应用其核心在于从人脸图像中准确判断眼睛闭合、打哈欠等特征。传统几何规则依赖人工阈值在不同光照和角度下鲁棒性不足。而卷积神经网络CNN能够自动学习隐含特征泛化能力更强。本文以Python和PyTorch为基础结合OpenCV与MediaPipe进行人脸关键点检测构建了一套完整的疲劳识别方案。从数据集清洗、标注规则、数据增强到轻量CNN网络设计、训练参数调优和实时推理链路系统性地介绍了工程落地中的关键环节。该方案可应用于司机疲劳驾驶预警、工业值班监控、课堂专注度分析等场景。无论是入门深度学习的初学者还是希望快速上手CNN分类项目的工程师都能从中获得可复用的实践经验和避坑指南。 最近我拿了一个“通过PythonCNN训练疲劳识别模型”的项目来跑压缩包解压后数据、训练脚本、模型权重全都有。我把整个流程完整过了一遍从数据整理、模型训练到实际推理都踩了一遍坑整理成这篇文章。如果你正在做疲劳检测相关开发或者想找一个CNN落地练手项目这篇笔记应该能帮你省不少时间。这套方案解决的核心问题是通过普通摄像头实时判断一个人是否处于疲劳状态。典型场景包括司机疲劳驾驶预警、工业值班室监控、长时间盯电脑人群的困倦提醒、课堂学生状态分析等。技术栈是Python OpenCV dlib/MediaPipe做图像处理和人脸关键点检测PyTorch训练一个轻量CNN对眼部、嘴部区域进行分类最终输出“清醒”“疲劳”等状态结果。对入门深度学习的同学来说它是一套完整的落地案例对已经做目标检测但没怎么碰过CNN分类项目的工程师也能快速上手。接下来我直接按实操顺序把整个项目拆开讲。1. 项目整体设计先搞清楚要解决什么问题1.1 疲劳状态在视觉上到底有哪些表现人疲劳时面部会释放出几个非常明显的信号眼皮下垂、眨眼频率异常、眼睛闭合时间拉长、频繁打哈欠、头部不自觉下垂或点头幅度变大。传统图像处理方案会针对这些信号设计几何指标最典型的是计算眼睛纵横比EAREye Aspect Ratio和嘴巴纵横比MARMouth Aspect Ratio再配合头部姿态估计模型来检测点头动作。这套方案在固定摄像头、固定光线、相对标准的人脸角度下确实能用。但它有一个天然的短板阈值得靠经验试。换个眼镜框、换一种光照或者人脸稍微侧一点EAR的数值分布就变了固定阈值很容易失效。而且几何特征本质上是人工设计的规则你对疲劳的理解有多少规则就只能写多少很难覆盖所有真实场景。1.2 为什么最终选了CNN而不是纯几何规则CNN的优势在于特征不需要人工设计模型会从数据里自动学出“什么样眼睛算闭”“什么样嘴巴算打哈欠”的隐含特征。实测下来只要训练数据覆盖了足够多的光照、角度、人脸形态CNN在换场景后的鲁棒性比几何阈值方案好一大截。所以这个项目的技术路线是把几何规则作为辅助参考把CNN作为主力分类器。这样既保留了规则方案的直觉性又拿到了深度学习方案的泛化能力。如果你只想要一个最简可用的版本可以跳过CNN直接拿EAR做阈值判断但如果希望系统能在不同环境间迁移CNN这条路线是值得投入的。1.3 整体技术链路设计项目不是直接拿整张摄像头画面丢给CNN分类而是采用“先定位、再分类”的分阶段方案摄像头采集图像。人脸检测模型定位人脸框。人脸关键点模型输出眼睛、嘴巴等关键点坐标。根据关键点坐标裁剪出左眼、右眼、嘴巴三个局部区域。将局部区域分别送入CNN进行分类。融合三个分类结果按策略输出最终状态。为什么不直接端到端做整图分类因为整图分类需要模型自己去找到人脸、眼睛、嘴巴这对数据量和算力要求高得多。分阶段方案里人脸检测和关键点检测都可以用现成模型CNN只需要解决一个相对简单的局部状态分类问题整个链路可控性强单帧推理速度也能保持在实时范围内。2. 数据集整个项目的地基2.1 数据集的基本构成与样本情况标题里写了“含数据集”这类项目的数据集通常包含两类目录一类放原始图片另一类放标注结果。整理后的标准结构一般是train/训练集内部按类别分文件夹。val/验证集用于训练过程中评估模型。test/测试集用于最终效果评估。类别通常是3类清醒awake、疲劳sleepy、打哈欠yawn。如果做二分类就是清醒和疲劳。有些数据集还会把打哈欠单拎出来因为嘴巴的张开状态和疲劳的相关性很强单独成类有助于模型学出更清晰的特征。这里有一个容易踩的坑数据集里如果混杂了不同来源的图片比如一部分是摄像头采集的一部分是网上爬的分辨率、光照、人脸角度差异会很大。CNN对训练分布外的图片预测效果会明显下降所以拿到数据集第一件事不是训练而是清洗和统计。2.2 标注一致性是疲劳识别最容易被忽略的深坑“什么算疲劳”这个定义如果不统一模型学到的边界就会很混乱。比如一个人眼睛闭到一半有的标注员觉得算闭眼有的觉得不算打哈欠时嘴巴张开的程度没有量化标准全凭感觉标注最后模型就会在边界样本上反复摇摆。我的做法是先定一套客观标注规则再让标注同学按规则执行。常用规则是眼睛闭合程度超过50%且连续帧持续0.5秒以上记为闭眼/疲劳嘴巴张开且上下嘴唇垂直距离超过一定像素记为打哈欠头部长时间低垂或频繁点头记为疲劳。有了量化标准标注一致性会好很多。如果你自己重新采集数据建议每组人先花半小时对齐标准不要一开始就批量标注不然后面返工成本极高。2.3 预处理与数据增强策略数据预处理分几步人脸对齐、区域裁剪、归一化。人脸对齐能降低头部角度对分类的干扰通常用关键点信息把人脸旋转到标准姿态。裁剪时根据关键点坐标扩展一个比例把眼睛和嘴巴完整框进来然后统一缩放比如都resize到64x64或48x48送入CNN。数据增强在这个项目里非常关键因为疲劳识别的场景光照变化太大了。我在项目里用的增强组合是随机水平翻转亮度、对比度随机调整饱和度轻微扰动小角度旋转正负10度以内少量高斯噪声。为什么强调亮度扰动因为实际应用中白天和夜晚的光照差异非常大如果模型只在单一光照下训练换到强光或暗光环境就废了。增强后模型对光照的敏感度会明显下降。2.4 训练集与验证集的划分不能拍脑袋常规操作是按8:1:1或7:2:1把数据分成训练、验证、测试。但疲劳识别有个特殊问题同一个人的不同视频帧非常相似如果随机划分同一个人的帧会同时出现在训练集和验证集里导致验证集准确率虚高实际部署时换一个人效果就崩了。正确做法是按“人”划分也就是说同一个人的所有数据只能落在一个集合里。这叫分层划分能够保证验证集的评估结果是模型在未见人脸上的真实表现而不是对同一批数据的记忆。很多人训练完指标很漂亮一上线就露馅大概率就是这一步偷懒了。3. 模型构建用PyTorch搭建一个轻量CNN3.1 输入设计别把整张脸丢进去很多人第一次做疲劳识别会把整张人脸resize后直接送进CNN。这种做法不是不行但浪费了大量计算在无关区域比如头发、背景、耳朵而且噪声太大。这个项目采用更合理的双分支或三分支输入设计把左眼、右眼、嘴巴分别裁剪出来各自送入CNN或者共享权重的CNN。这样做的好处是模型只关注与疲劳最相关的局部区域特征更集中收敛更快准确率也更高。同时局部区域尺寸小网络可以做得比较轻推理速度快。3.2 网络结构选择轻量优先我选了一个三层卷积加全连接的小网络单分支结构大致如下层名输出尺寸说明Conv2d(3, 16, 3) ReLU64x64x16第一层卷积提取底层边缘纹理特征MaxPool2d(2)32x32x16下采样降低分辨率Conv2d(16, 32, 3) ReLU32x32x32第二层卷积提取局部形状特征MaxPool2d(2)16x16x32下采样Conv2d(32, 64, 3) ReLU16x16x64第三层卷积提取更高阶语义特征AdaptiveAvgPool2d(1)1x1x64全局池化替代全连接前的大尺寸特征Linear(64, 3)3分类输出这个结构处理64x64的单张输入参数量很少CPU上跑一帧也就几毫秒。三个区域各跑一遍总耗时也能接受。如果你是在GPU上训练可以把网络加宽比如把通道数翻倍精度一般会涨一些但要注意过拟合风险。PyTorch里的实现非常简洁import torch.nn as nn class FatigueCNN(nn.Module): def __init__(self, num_classes3): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(inplaceTrue), nn.AdaptiveAvgPool2d(1) ) self.classifier nn.Linear(64, num_classes) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)如果你的数据集比较大直接用预训练的ResNet18或MobileNetV2做迁移学习也是好选择收敛速度会快很多。只是模型体积和推理耗时都会增加部署前需要权衡。3.3 损失函数与评估指标怎么选分类任务最常用的损失函数是交叉熵损失criterion nn.CrossEntropyLoss()它对应Softmax输出模型最后一层输出每个类别的logits损失函数内部会做Softmax并计算交叉熵不需要手动加Softmax。评估指标不能只看准确率。疲劳识别数据往往存在类别不平衡比如清醒样本占70%疲劳样本占20%打哈欠样本占10%。一个全预测“清醒”的模型准确率也有70%看起来还行实战中完全是废物。所以要同时看召回率、精确率和F1分数特别是疲劳类别的召回率因为漏掉一个疲劳状态比误报一次严重得多。训练代码框架可以参考下面这段import torch import torch.optim as optim from torch.utils.data import DataLoader model FatigueCNN(num_classes3) optimizer optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() for epoch in range(epochs): model.train() running_loss 0.0 for images, labels in train_loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() print(fEpoch {epoch1}, Loss: {running_loss/len(train_loader):.4f})4. 完整训练流程从环境搭建到模型权重4.1 环境搭建与依赖版本跑这个项目需要的核心依赖Python 3.8以上PyTorch 1.10以上CPU版也能训练但慢建议NVIDIA GPU CUDAOpenCV-Python用于图像读取、预处理dlib或MediaPipe用于人脸检测和关键点检测NumPy、Matplotlib用于数据处理和可视化。安装时最容易出问题的是dlib它依赖CMake和C编译器。Windows上建议直接装编译好的wheel包或者改用MediaPipe它安装更友好关键点检测效果也够用。4.2 训练参数初始化与选择逻辑训练参数直接决定模型效果我常用的初始配置如下优化器Adam学习率1e-3批量大小batch size 32训练轮数epoch 50学习率调度里程碑式衰减比如每20轮衰减为原来的0.1倍。为什么用Adam而不用SGD疲劳识别数据集往往不会特别大Adam的自适应学习率能更快收敛省掉很多学习率调参的精力。如果你追求极限精度Adam训练一段时间后换成SGD微调也是一个可行策略但普通项目没必要折腾。批量大小的选择取决于显存。输入图是64x64批量32在绝大多数显卡上都没问题。如果你的显存只有4GB建议把batch size降到16否则显存溢出会直接崩溃。4.3 训练过程监控与模型保存训练过程中一定要监控训练集和验证集的Loss变化。我习惯每个epoch结束后在验证集上跑一遍记录准确率和F1。验证集Loss先降后升且训练集Loss继续下降说明模型开始过拟合这时候应该早停或者加大数据增强强度。模型保存时不要只保存最后的权重建议每个最优验证指标对应的epoch都单独存一份if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth)这样即便训练过程发生抖动你也能回退到最优版本。曾经有一次我训练到第40轮时验证集指标突然上涨但第45轮又掉回去了幸好有阶段保存否则只能重新训练。4.4 实时推理的完整链路训练好模型后接入摄像头做实时推理时我封装了一个简单的检测循环读取一帧图像dlib/MediaPipe检测人脸关键点根据关键点坐标裁剪眼部、嘴部区域分别送入CNN得到类别概率按规则融合眼睛疲劳且嘴巴打哈欠概率高时输出疲劳连续多帧都疲劳才触发报警。连续多帧确认这个策略很重要。单帧误判很多偶尔眼睛闭一下并不代表整个人都处于疲劳状态。我通常设置5到10帧的滑动窗口超过一半帧数判定为疲劳才输出最终结果。这种时间维度的平滑能极大降低误报率。5. 常见问题与排查技巧实录5.1 损失不下降怎么办训练Loss从一开始就不降或者降到一定程度后不再变化是最常见的卡点。先检查学习率是不是设置太高或太低。学习率1e-3在网络结构简单时一般没问题但如果Loss剧烈震荡可以降到3e-4如果Loss纹丝不动可能是学习率太小或者数据集的数值范围没做归一化。还要检查数据。把随机抽取的几张输入图片打印出来看预处理后图像是否正常。有一次我发现裁剪区域全是黑边原因是关键点坐标和原图尺寸对不上图片被放缩后坐标没有同步模型相当于一直在看一堆黑块Loss自然不会降。5.2 过拟合严重怎么处理训练集准确率接近100%验证集准确率只有七八成这是典型的过拟合。疲劳识别数据集通常不大这种情况很常见。处理手段从易到难排列增加数据增强强度尤其是亮度扰动和随机遮挡加Dropout层随机失活比例0.3到0.5使用预训练模型迁移学习而不是从零训练收集更多数据这是最有效的办法但成本也最高。我在项目里同时用了增强和Dropout过拟合明显缓解。如果验证集指标还不行就检查是不是数据划分出了泄漏问题回到“按人划分”那条原则去改。5.3 实时推理速度不够怎么办如果模型在摄像头场景下跑不起来先别急着换网络排查优先级如下输入尺寸是不是太大了64x64够用不需要上128x128人脸关键点检测是不是瓶颈dlib的HOG检测器在CPU上还算快MediaPipe在CPU上也能跑但不同版本性能差异很大建议实测对比三块区域是不是串行处理的可以并行或共用同一个CNN比如让三块区域共享权重这样只推理一次但输出三个结果后处理有没有做耗时计算比如输出端误加了一些不必要的逻辑。还不行的话考虑用torch.quantization做模型量化把FP32换成INT8速度和体积都能优化不少。5.4 实际部署时的误报问题实测中最常见的误报是“说话被识别成打哈欠”和“眯眼被识别成疲劳”。前者是因为嘴巴张开的形态相似后者是因为不同人眼睛大小差异较大。解决“说话误判”的思路打哈欠有一个连续的过程嘴巴张开并保持一段时间后闭合而说话是连续交替开合的短促动作。用连续帧的嘴部状态序列来判断比单帧分类可靠得多。解决“眯眼误判”的思路不要单纯依赖CNN概率可以结合关键点计算的眼睛纵横比。如果眼睛纵横比显示眼睛并未完全闭合只是较小那CNN即使给出偏疲劳的概率也应该被规则层压低权重。把规则和模型结合是疲劳识别落地时最实用的调优手段。5.5 部署时的几个小坑摄像头索引问题OpenCV的VideoCapture(0)在许多笔记本上可能是前置摄像头也可能是后置索引经常变。上线前确认摄像头实际编号否则会读到黑帧。模型路径问题加载模型后一定要先打印一层输出确认权重路径正确。我遇到过模型文件放错路径导致加载了默认初始化权重的情况推理结果全是随机分类排查了半个小时才定位到。光线变化问题纯夜间的摄像头画面和白天差异非常大训练数据如果缺少夜间样本夜间误报率会很高。建议在部署时做简单的亮度归一化或者收集一部分夜间数据加入训练集。最后再说一点这个项目跑下来的整体体会是疲劳识别里最难的不是模型而是数据质量和边界情况。CNN把很多图像层面的问题自动化了但“什么状态算疲劳”的定义、数据集的覆盖度、时间序列上的平滑判断这些才是决定系统能不能真正落地的关键。后面如果继续扩展可以尝试在CNN基础上引入注意力机制让模型更关注眼睛和嘴部区域也可以考虑把时序信息加入模型比如用LSTM或Transformer处理连续帧特征疲劳状态本身是一个时间过程时序模型会更贴合任务本质。本文还有配套的精品资源点击获取