简介基于OpenCV、YOLOv8与DeepSORT的行人检测跟踪项目源码是一份适合毕业设计、课程设计及入门进阶的完整工程。面向计算机、人工智能、自动化等相关专业学生和从业者可用于解决视频流中行人实时检测与多目标跟踪问题。包内共42个文件以31个Python源码文件为核心覆盖模型构建、检测跟踪主流程、配置参数与工具函数等模块同时包含预训练权重、测试视频、演示图片、开发文档和依赖清单部署运行所需材料基本齐全。压缩包约50MB目录划分明确自带模型与视频可直接验证效果也便于按需修改。目前已有168人学习借鉴代码经过调试测试稳定性较好并配有基础演示与说明文档适合从零理解YOLOv8目标检测与DeepSORT跟踪的协同工作机制。基础较好的读者可在此基础上替换数据集、调整模型参数或扩展其他目标类别灵活完成个性化实验与功能定制。1. 一套能查重能答辩的行人检测跟踪方案怎么搭才不翻车行人检测跟踪是计算机视觉里最常被拿来做毕业设计的题目之一但大部分同学卡在同一个位置YOLOv8单独跑检测框是有了一帧一个结果前后帧对不上号OpenCV处理视频和画框没问题却不懂目标关联DeepSORT能跟踪又没人告诉它该吃什么输入。三样东西单独都会用拼在一起就断链。这套方案的本质是把YOLOv8的逐帧检测结果交给DeepSORT做跨帧关联再用OpenCV完成视频流读取、画面绘制和结果输出。YOLOv8负责“看到什么”DeepSORT负责“还是不是同一个”OpenCV负责“从哪里看、把结果写成什么样”。三者解耦各有各的接口任何一环换掉都不影响整体架构。适合谁做有一定Python基础、能跑通YOLOv8检测、但没接触过多目标跟踪的同学。这篇就按检测-跟踪-关联-工程化的顺序把一条能直接打开运行的链路讲清楚。2. YOLOv8检测端模型选型、环境搭建与推理封装2.1 为什么用YOLOv8而不是Faster R-CNN或YOLOv5行人检测这个场景对算法的要求很明确小目标多、遮挡频繁、视频帧连续处理要快。Faster R-CNN的两阶段结构在精度上有优势但推理速度在CPU上基本跑不动在GTX 1660 Ti这类入门显卡上也只有个位数FPS做实时视频处理不现实。YOLOv5在速度和精度上做了不错的折中但它的工程生态不够统一官方维护力度参差不齐。YOLOv8把检测、分割、分类、姿态估计都收到了同一个ultralytics包下训练和推理的API一致换任务不用改架构。对毕设来说统一API意味着你只需要会一套代码就能同时展示检测和跟踪两种能力。YOLOv8的模型结构有几个关键改动值得注意。它的主干网络继续沿用了CSPDarknet的设计思路但把C3模块换成了C2f模块。C2f从Bottleneck的堆叠方式入手让梯度流可以走更多支路浅层特征和深层特征的融合更充分。这对行人这种宽高比固定但尺度变化大的目标比YOLOv5的C3更友好。分类头和回归头也做了解耦。YOLOv8不再用anchor-based的预测方式而是直接预测目标中心点距离特征图网格的偏移量。Anchor-free的设计少了anchor超参的调优步骤对不熟悉目标检测细节的同学来说少了一个玄学调参点。2.2 环境搭建conda创建虚拟环境、CUDA版本确认、ultralytics安装环境配置是翻车重灾区最常见的问题是OpenCV和PyTorch的版本互相踩踏。我一般用conda先把Python版本锁到3.9或3.10再装PyTorch最后装ultralytics和opencv-python。conda create -n peddet python3.9 -y conda activate peddet # 先确认显卡驱动支持的最高CUDA版本再用对应版本安装PyTorch nvidia-smi pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics opencv-pythonCUDA版本的选择逻辑是这样的nvidia-smi显示的CUDA Version是驱动支持的上限不是当前环境的CUDA版本。PyTorch装的是自带CUDA运行时的版本只要它要求的CUDA版本不高于驱动支持的上限就能跑。用cu118对应CUDA 11.8是兼容性最好的选择GTX 1660 Ti到RTX 40系都能覆盖。装完以后验证环境python -c import cv2; print(cv2.__version__) python -c from ultralytics import YOLO; print(ok)如果import cv2报错大概率是opencv-python和opencv-contrib-python冲突只保留一个。ultralytics会自动引入opencv手动装opencv-python容易装成不同版本建议直接依赖ultralytics的依赖解析。2.3 模型选择yolov8n.pt到yolov8x.pt的取舍行人场景选哪个YOLOv8官方提供了n、s、m、l、x五个尺寸的预训练权重参数量从315万递增到6810万。COCO数据集里person类别是第0类用官方权重直接推理就能检测行人不需要先训练。from ultralytics import YOLO # n是最轻量的版本适合CPU推理或需要高FPS的场景 model YOLO(yolov8n.pt) # 如果用GPU且对精度有要求换s或m # model YOLO(yolov8s.pt) results model.predict(test.jpg, classes[0], conf0.4, devicecpu) boxes results[0].boxes对毕业设计来说yolov8s.pt是性价比最高的选择。n在遮挡较严重时容易漏检x的推理速度太慢视频流处理时GPU占用高但帧率提升有限。classes[0]这个参数很多同学容易漏不加的话会把COCO里80个类别的目标都检测出来行人跟踪的demo会混入猫、狗、车查重答辩时很减分。2.4 检测结果封装把YOLOv8输出转成DeepSORT需要的格式DeepSORT的输入不是YOLOv8的原始输出而是标准化后的检测信息。它需要每个目标的边界框坐标、置信度和类别信息。关键是坐标格式要做到统一YOLOv8默认返回的是xyxy格式左上角x左上角y右下角x右下角y而DeepSORT内部通常用xywh中心点x中心点y宽高。import numpy as np def yolo_to_deepsort(results): detections [] for r in results: boxes r.boxes.xyxy.cpu().numpy() scores r.boxes.conf.cpu().numpy() classes r.boxes.cls.cpu().numpy() for box, score, cls in zip(boxes, scores, classes): if int(cls) ! 0: # 只保留person类 continue x1, y1, x2, y2 box w, h x2 - x1, y2 - y1 cx, cy x1 w / 2, y1 h / 2 detections.append([cx, cy, w, h, float(score)]) return np.array(detections) if detections else np.empty((0, 5))格式转换是检测端和跟踪端的桥。cx和cy用中心点坐标而不是左上角坐标是因为DeepSORT的马氏距离计算基于目标中心的运动预测用中心点做状态量是卡尔曼滤波的标准做法。w和h的归一化在这里不需要做因为视频帧内所有检测框都来自同一分辨率尺度是一致的。3. DeepSORT跟踪端状态预测、级联匹配与轨迹生命周期管理3.1 DeepSORT的核心思路卡尔曼滤波预测加匈牙利算法匹配DeepSORT不是用深度学习做跟踪它是用深度学习做目标的外观特征提取跟踪本身还是靠传统的卡尔曼滤波和匈牙利算法。理解这个定位很重要否则会在“为什么DeepSORT不够智能”上面纠结。卡尔曼滤波负责预测目标在下一帧的位置。每个正在跟踪的目标都有一个状态向量包含边界框位置和速度信息。预测结果和当前帧的YOLOv8检测结果做匹配匹配的依据是马氏距离加外观特征的余弦距离。马氏距离衡量的是位置预测和检测的接近程度它考虑了预测的不确定性。外观特征的余弦距离解决的是遮挡后再出现的问题靠ReID模型提取目标的特征向量在轨迹被遮挡的期间保留特征等目标重新出现时靠外观找回原来的ID。3.2 deep_sort库的接入检测器输出怎么送入跟踪器deep_sort的Python实现有多个版本最常见的维护库是GitHub上的nwojke版本和它的各类fork安装方式统一用pip。pip install deep-sort-reid跟踪器初始化时要指定ReID模型权重路径。deep_sort-reid这个包里默认带了一份在Market-1501数据集上训练好的权重行人重识别场景直接可用。from deep_sort_realtime.deepsort_tracker import DeepSort tracker DeepSort( max_age30, # 轨迹丢失后最多保留30帧 max_cosine_distance0.3, # 外观特征距离阈值 nn_budget100, # 特征池大小 override_track_classNone, embeddermobilenet, halfTrue, # 半精度推理GPU可用时加速 bgrTrue, # OpenCV读入的是BGR格式 )每帧的逻辑是YOLOv8检测出目标转成DeepSORT格式后调用update_tracks返回的就是带稳定ID的跟踪结果。tracks tracker.update_tracks(detections, frameframe) for track in tracks: if not track.is_confirmed(): continue track_id track.track_id ltrb track.to_ltrb() # left, top, right, bottom每帧调用update_tracks跟踪器内部会完成三件事对已有轨迹用卡尔曼滤波预测当前位置将预测结果与本帧检测结果做级联匹配更新匹配成功轨迹的状态初始化未匹配的检测为新轨迹删除长期未匹配的轨迹。3.3 max_age、max_cosine_distance、nn_budget这三个参数怎么调这三个参数决定了跟踪行为的天花板。max_age是轨迹允许“隐身”的最长帧数。行人被挡住10帧max_age小于10就会把ID丢掉被挡完重新出现会分配一个新IDmax_age设得长ID能保住但轨迹消失太久后重新匹配可能出现ID错接。max_cosine_distance是外观距离的阈值。这个值越小对同一个人的外观变化容忍度越低换衣服、背包、视角变化都可能造成ID切换值设太大不同行人之间的区分度下降容易把两个人串成一个ID。nn_budget是每个轨迹保留的特征模板数量上限。它控制的是一个轨迹在匹配时参考多少个历史外观特征。值太小遇到遮挡后外观发生了变化匹配不上值太大早期特征会污染当前判断比如同一个人换了衣服后旧衣服的特征还在特征池里抢票。毕设场景下我给的初始参数是max_age30max_cosine_distance0.3nn_budget100。这三个值在校园、街道、室内监控场景下有较强的普适性。3.4 轨迹状态机confirmed和unconfirmed轨迹的区别DeepSORT内部把轨迹分成confirmed和unconfirmed两种状态。新的检测框不会立刻拥有正式ID而是先进入unconfirmed状态作为候选轨迹。只有连续若干帧都能匹配上检测这个候选轨迹才会转正为confirmed进入正式跟踪列表。for track in tracker.update_tracks(detections, frameframe): # 只画confirmed的轨迹unconfirmed通常是误检或闪过的目标 if not track.is_confirmed(): continue if track.det_conf is None: continue为什么要这样设计因为YOLOv8偶尔会出现单帧误检比如把背景纹理当成行人。如果每个检测都立刻分配ID画面里会频繁出现只存活一帧的“幽灵ID”。用unconfirmed状态做缓冲只有连续出现且位置连贯的目标才能获得正式ID视频里ID跳变和闪烁会明显减少。track.det_conf为None的轨迹是纯靠卡尔曼预测维持的也就是目标已经不在当前帧被检测到了。这种轨迹画出来通常是虚线框或半透明框标注“预测位置”比直接不画更直观。4. OpenCV工程化视频流读取、画框逻辑与性能瓶颈排查4.1 cv2.VideoCapture读摄像头和视频文件的边界情况OpenCV在整条链路里承担的是视频输入和输出看起来简单实际坑最多。import cv2 cap cv2.VideoCapture(pedestrian.mp4) if not cap.isOpened(): raise IOError(无法打开视频文件检查路径和编解码器) fps cap.get(cv2.CAP_PROP_FPS) width int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))视频文件打不开最常见的不是路径写错而是OpenCV自带的FFmpeg不支持视频的编码格式。用官网下载的opencv-python包不带完整FFmpeg处理H.265编码的视频会直接打不开。解决办法是安装opencv-contrib-python或者自己编译带FFmpeg的OpenCV版本。读USB摄像头的坑在于分辨率读取失败后cap.get返回0。如果摄像头只支持640x480你硬要读1920x1080读取会一直失败。建议先打印cap.get返回的分辨率和FPS确认实际值后再做预处理。4.2 单帧处理流程代码resize、detect、track、draw的完整串联处理流程每帧的顺序是固定的读帧、缩放、检测、跟踪、画框、显示。这个顺序不能乱因为DeepSORT要求检测结果所在的坐标系和当前帧一致先resize再检测跟踪结果的坐标也基于resize后的尺寸。import cv2 import numpy as np from ultralytics import YOLO from deep_sort_realtime.deepsort_tracker import DeepSort CONF_THRESHOLD 0.4 TARGET_SIZE (960, 540) model YOLO(yolov8s.pt) tracker DeepSort(max_age30, max_cosine_distance0.3, nn_budget100) cap cv2.VideoCapture(pedestrian.mp4) out_w, out_h TARGET_SIZE writer cv2.VideoWriter( output.mp4, cv2.VideoWriter_fourcc(*mp4v), 25.0, (out_w, out_h), ) while True: ret, frame cap.read() if not ret: break # 统一缩放到固定尺寸减少推理耗时 frame cv2.resize(frame, TARGET_SIZE) rgb_frame cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 检测 results model.predict(rgb_frame, confCONF_THRESHOLD, classes[0], verboseFalse) # 转成DeepSORT输入格式 detections [] for r in results: for box, score, cls in zip( r.boxes.xyxy.cpu().numpy(), r.boxes.conf.cpu().numpy(), r.boxes.cls.cpu().numpy(), ): if int(cls) ! 0: continue x1, y1, x2, y2 box w, h x2 - x1, y2 - y1 detections.append(([int(x1), int(y1), int(w), int(h)], float(score), person)) tracks tracker.update_tracks(detections, frameframe) for track in tracks: if not track.is_confirmed(): continue ltrb track.to_ltrb() x1, y1, x2, y2 map(int, ltrb) tid track.track_id cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText( frame, fID: {tid}, (x1, max(0, y1 - 8)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2, ) writer.write(frame) cv2.imshow(Pedestrian Tracking, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() writer.release() cv2.destroyAllWindows()这里有个关键细节model.predict传的是rgb_frame。OpenCV默认读进来是BGRYOLOv8在predict内部会做BGR到RGB的转换如果你手动转换又传进去就变成了RGB到RGB颜色本身没问题但推理时模型的输入分布和训练时一致色彩通道顺序不会造成精度损失。如果你直接传BGR的frame给predictultralytics内部会自己再转一次结果是正确的但多了一次拷贝对帧率有影响。detections列表的格式是DeepSORT标准输入每个元素是(x, y, w, h, score, class_name)。ltrb是左、上、右、下源自to_ltrb方法正好匹配cv2.rectangle的参数顺序。4.3 性能卡点定位是检测慢还是跟踪慢用时间戳和Profile定位视频处理后帧率低先判断瓶颈在检测还是跟踪。用time模块给每个环节打点import time t0 time.perf_counter() results model.predict(rgb_frame, confCONF_THRESHOLD, classes[0], verboseFalse) t1 time.perf_counter() tracks tracker.update_tracks(detections, frameframe) t2 time.perf_counter() detect_time_ms (t1 - t0) * 1000 track_time_ms (t2 - t1) * 1000 frame_time_ms (t2 - t0) * 1000正常情况下YOLOv8s在GTX 1660 Ti上960x540分辨率的检测时间大约在8到15毫秒DeepSORT的跟踪时间在2到5毫秒。如果检测时间超过30毫秒优先检查GPU是否真的在用。YOLOv8默认会使用GPU但如果没有CUDA版的PyTorch它会静默回退到CPU推理时间直接翻十倍。如果跟踪时间超过10毫秒多半是检测结果里混入了大量无效框。出现这种问题先看有没有漏掉classes[0]把COCO全部80类都送进DeepSORT匹配矩阵复杂度会急剧上升帧率掉得明显。4.4 GPU和CPU两套运行方案的取舍没有NVIDIA显卡也能跑用yolov8n.pt加960x540分辨率CPU推理时间在200到400毫秒一帧。这个速度做不了实时展示但可以做离线视频处理跑完再回放结果视频。# CPU模式显式指定 results model.predict(rgb_frame, devicecpu, confCONF_THRESHOLD, classes[0], verboseFalse)CPU模式要注意观察CPU利用率。如果是单核打满说明OpenCV的DNN模块或者PyTorch没有调用多线程。设置环境变量OMP_NUM_THREADS4或者torch.set_num_threads(4)能让推理快不少。GPU模式下halfTrue这个参数对DeepSORT的ReID模型有效能把float32改成float16推理速度提升接近一倍精度损失在行人重识别场景可以忽略。5. 毕业设计场景常见的隐藏扣分点5.1 数据集不管多大都用YOLOv8训练轮数做对比曲线毕设论文里最容易被追问的问题是“为什么用预训练权重而不是自己训练”。官方COCO权重里包含person类直接用在行人检测上效果不差但答辩时老师会问“你的模型在哪里体现了工作量”。常见做法是下载一个行人检测数据集比如MOT Challenge或CrowdHuman的公开子集用YOLOv8训练几十轮画出损失函数曲线和mAP曲线证明你做了训练实验。yolo detect train datapedestrian.yaml modelyolov8s.pt epochs50 imgsz640 batch8yaml文件里需要指定训练集和验证集的图片路径及类别数。类别只写一个personnc1。训练完成后用best.pt替换之前的yolov8s.pt代码不用改因为ultralytics的模型加载逻辑是统一入口。5.2 ID Swtich次数怎么统计用这个数据支撑跟踪效果跟踪效果的量化指标论文里单写“跟踪稳定”没有说服力。统计视频中ID Switch次数是常见的做法实现方式是记录每个track_id第一次出现的帧号和最后一次出现的帧号统计ID总次数和平均存活帧数。track_lifetimes {} frame_idx 0 # 在每帧处理循环内更新 for track in tracks: if not track.is_confirmed(): continue tid track.track_id if tid in track_lifetimes: track_lifetimes[tid][1] frame_idx else: track_lifetimes[tid] [frame_idx, frame_idx] # 循环结束后 lifetimes {k: v[1] - v[0] for k, v in track_lifetimes.items()} avg_lifetime sum(lifetimes.values()) / len(lifetimes)平均存活帧数长说明跟踪稳定ID总数和实际行人数量接近说明没有频繁误分配。这两个数字写进论文里比十张截图有说服力。5.3 遮挡场景单独录一段视频做演示比算法改进更划算遮挡是跟踪最容易暴露短板的地方。做毕业设计不需要改进DeepSORT但需要证明“我知道这个问题的存在”。录制一个行人走到柱子后面绕出来的视频展示目标被遮挡后ID能保持住就足以说明你对多目标跟踪的核心难点有理解。测试方法很简单让一个人从画面左边走到右边中途被一棵树或柱子挡住几秒观察ID是否变化。如果不变化把这段视频放进论文实验章节做示例如果ID变了先调max_age到60到100通常能解决。代码层面唯一值得做的增强是检测框平滑。用EMA指数移动平均对连续帧中同一ID的框位置做平滑能显著减少框抖动视觉效果好代码改动也小。ema_dict {} alpha 0.5 def smooth_box(tid, new_box): if tid not in ema_dict: ema_dict[tid] new_box else: old ema_dict[tid] ema_dict[tid] [alpha * n (1 - alpha) * o for n, o in zip(new_box, old)] return ema_dict[tid]alpha0.5表示当前帧和历史的权重相等。值越大平滑越强但延迟越高行人快速转身或变速走时框会拖尾。alpha0.5到0.7是实践下来观感和延迟的平衡区间。这一段代码加到画框之前会明显提升最终演示视频的观感而这个改动在论文里也能写成一个简单的“自适应框平滑”小节。本文还有配套的精品资源点击获取