简介面向计算机视觉与红外图像处理研究者DENTIST-master是一套基于RIPI算法的红外小目标检测实现涵盖红外图像预处理、噪声过滤、分块目标增强、张量加权融合及PCA特征降维等关键环节适用于军事敌我识别、安防异常行为检测、无人驾驶障碍物感知等对弱小目标敏感的实战场景。红外小目标通常尺寸小、信噪比低易被复杂背景淹没因此该实现重点优化了局部特征提取与多尺度信息融合。压缩包共109个文件核心为35个MATLAB脚本m文件与30张bmp红外测试图像另有avi视频样本、c/f源程序、mex动态库、md/doc技术文档及授权文件整体仅2.54MB轻量易部署。已有215人学习适合具备一定图像处理基础的研究者复现算法、分析检测流程或在此基础上引入深度学习等方法做进一步优化与改进。1. 红外小目标检测为何难 DENTIST 补的是哪块短板红外图像里远距离目标往往只表现为几个像素的灰度异常目标尺寸经常小于 9×9 像素对比度只有几个灰度级和云层边缘、地面热杂波混在一起。常规目标检测框架在下采样四次后这种弱信号会被背景统计量吞掉直接套 YOLO 或 Faster R-CNN 得到的结果通常是漏检率很高、指标波动大。红外小目标检测于是被当成独立方向来对待输入红外图像输出和原图尺寸相同的像素级概率图再通过阈值和连通域分析得到目标位置。DENTIST-master 这套工程就是这条技术路线的完整落点适合刚接触小目标检测的研究生、算法工程师以及要做红外图像算法验证的光电系统相关人员。读通它等于把数据整理、模型训练、评价参数计算和部署验证这条链路的骨架先立起来。2. 红外图像小目标的建模口径与评价参数2.1 小目标检测的尺寸边界与建模思路红外小目标检测里的“小”不是通用目标检测里“小尺寸物体”那种小。通用检测用 COCO 的 32×32 像素作为小目标下界而红外小目标检测的经验上界是 9×9 像素左右很多真实场景中的目标只有 3×3 到 7×7 像素。目标在整幅 640×512 图像里的像素占比往往不到 0.1%没有稳定纹理也没有可靠形状。正因为这个数量级常规骨干网络前向传播中的四次下采样会把目标压缩成不到一个像素BN 层的全局统计又倾向于把这一两个异常值的响应压低。所以我在搭建红外小目标检测模型时很少把关注点放在“更强的分类能力”上而是关注三件事浅层特征是否被完整保留、上采样路径是否足够长、损失函数是否对正样本稀疏敏感。这决定了建模口径。红外小目标检测模型比较可靠的输出形式是像素级 mask和语义分割类似但评价逻辑又要回到“目标级”。也就是先把网络输出变成二值图再用连通域把邻近的预测点聚成一个目标最后和标注 mask 的连通域做匹配。只用 IoU 做评价会有明显偏差一个 5×5 的真实目标只要整体平移一个像素IoU 就会从 1 掉到 0.6 附近直接套通用目标检测里的 0.5 阈值会把大量正确检出判成虚警。2.2 常用数据集与标注协议训练前先把数据口径统一。公开红外数据集里NUAA-SIRST、NUDT-SIRST、IRSTD-1k 用得比较多三者都提供像素级标注 mask但目标尺寸、背景类型差异不小训练前要按实际场景选择。我在做项目时会把它们的标注统一转成 0/1 PNG文件命名保持“图像同名、mask 同名”避免数据加载时错位。数据集典型来源目标特点适合用途NUAA-SIRST单帧红外目标灰度较亮、背景相对简单快速验证 baselineNUDT-SIRST复杂地面/天空目标尺度跨度大、虚警源多调虚警抑制IRSTD-1k多传感器红外目标更暗、含真实噪声最终测评划分数据集时同一段连续红外序列必须整体放入同一侧。按单帧随机划分会让模型记住相邻帧背景测试指标明显虚高我一般按视频片段分组再用分组后的文件列表做 train/val/test 三份。如果自己采集数据至少要保留目标落入云层边缘、树丛边缘、水平线附近的样本这些位置才是评价参数最容易崩的地方。注意像素级 mask 在标注时边界不要外扩太多否则训练出来的概率图会偏向“胖目标”后续做阈值分割时很难把边缘收紧。2.3 评价参数检测率、虚警率与 SCRG/BSF 的计算红外小目标检测报告里最常出现四个评价参数检测概率 Pd、虚警率 Fa、信杂比增益 SCRG、背景抑制因子 BSF。检测率和虚警率按“目标级”统计SCRG 和 BSF 按“局部窗口”统计。先看目标级指标的代码实现import numpy as np from scipy import ndimage def target_level_metrics(pred, gt, num_frames, iou_thr0.1): # 把像素级二值图聚成目标 pred_labels, pred_n ndimage.label(pred) gt_labels, gt_n ndimage.label(gt) matched, fa 0, 0 for i in range(1, pred_n 1): p_mask pred_labels i best 0.0 for j in range(1, gt_n 1): g_mask gt_labels j inter np.logical_and(p_mask, g_mask).sum() union np.logical_or(p_mask, g_mask).sum() best max(best, inter / union) if best iou_thr: matched 1 else: fa 1 pd matched / max(gt_n, 1) fa fa / num_frames return pd, fa这段代码先把预测图和标注图分别做连通域聚类再逐个目标计算 IoU按 iou_thr 判定这一帧检测是否命中。iou_thr 取 0.1 而不是通用目标检测的 0.5是因为红外小目标尺寸太小、轻微偏移就会显著拉低 IoU按帧数做分母的 fa 才是真正的虚警率按像素统计会把同一个目标的边缘抖动算成大量虚警。SCRG 与 BSF 反映的是模型对背景的抑制效果。先取目标周围的局部窗口定义scr abs(target_mean - bg_mean) / bg_std输入图像算一次得到 SCR_in模型输出的概率图算一次得到 SCR_out两者比值就是 SCRGBSF 用输入背景标准差除以输出背景标准差。这两项数值越高说明网络把背景杂波压得越狠目标信噪比提升越明显。计算时窗口半径取目标尺寸的 3 到 5 倍过小会把目标带进背景统计过大则忽略局部杂波。3. 用 DENTIST 在本地把红外小目标检测模型跑通3.1 DENTIST 工程结构与入口文件标题里的 DENTIST-master 是整套红外小目标检测工程的目录名这类工程通常按 configs、datasets、models、tools 四块拆开不会把所有函数写进一个脚本。拿到代码后不要急着读模型源码先看 tools/train.py 的参数解析和 configs 下的 yaml这两处足够确定输入尺寸、batch、损失函数权重和数据集根目录。DENTIST-master/ ├── configs/ │ └── infrared_small_target.yaml ├── datasets/ │ └── irstd.py ├── models/ │ ├── backbone.py │ ├── decoder.py │ └── losses.py ├── tools/ │ ├── train.py │ └── inference.py └── requirements.txt模型文件集中在 models 目录backbone 负责特征提取decoder 负责把特征图上采样回输入分辨率losses 里通常同时定义 BCE、Dice 或 Focal。实际改动最多的是 configs 和 datasets新场景数据重新组织后要改的往往是数据加载路径和 yaml 里的归一化参数。3.2 最小可运行命令环境、依赖与数据软链先把运行环境隔离出来避免把系统 Python 弄乱。用 conda 建一个 Python 3.8 环境然后按 requirements.txt 安装依赖conda create -n dentist python3.8 -y conda activate dentist pip install -r requirements.txtrequirements 里面的 PyTorch 版本和 CUDA 版本必须和本机驱动匹配常见做法是先装好与显卡匹配的 PyTorch再装 numpy、opencv-python、pyyaml、tqdm、tensorboard 这些周边库。如果当前机器只有 CPU就装 CPU 版 PyTorch并先把 input_size 调小确认代码路径能跑通再换 GPU。数据集没必要复制到项目里用软链接指向真实目录更省空间ln -s /data/IRSTD-1k ./datasets/IRSTD-1k训练命令一般是这样组织python tools/train.py \ --config configs/infrared_small_target.yaml \ --work-dir work_dirs/dentist_irstd \ --gpus 1--config 指定模型结构、数据集路径、输入尺寸和训练超参--work-dir 保存 checkpoint 和日志训练中断后重启会从这里续上--gpus 在单卡调试时写 1多卡试验也建议先单卡跑通再改并行配置。启动后不要只看 loss 曲线还要打开 tensorboard 同时观察验证集上的 Pd 和 Fa并保存验证输出的概率图。infrared 图像的小目标在训练集上表现好不代表在验证集上不会漏视觉检查比数字更早暴露问题。3.3 红外图像预处理与数据增强参数红外图像和可见光不一样读图时按单通道灰度读入不要复制成三通道再用 ImageNet 的 RGB 参数做归一化那样会把红外灰度分布整体拉回到可见光的统计范围目标对比度反而被压缩。常见做法是 min-max 归一化到 0~1或按分位数截断把热杂波的极端值掐掉。第一次复现时直接参考下面这份配置Data: input_size: [320, 320] normalize: minmax train_aug: - random_flip - random_crop - rotate90 test_aug: [] patch_mode: sliding patch_overlap: 0.5各参数作用和推荐值如下换数据集后主要根据目标尺寸调整。参数推荐值作用input_size320×320保留小目标上下文显存与性能折中normalizeminmax统一灰度尺度避免场景亮度差异random_crop320×320增强目标位置多样性rotate9090/180/270不改变目标形态的自然增强mosaic不用拼接会让小目标边界失真虚警上升patch_overlap0.5大图推理时重叠区平均减少边界漏检多数红外小目标检测模型对目标真实尺寸非常敏感训练时把整张 640×512 图像 resize 到 320×320小目标会进一步缩小特征图上只剩 1 个像素训练信号几乎为零。因此我一般用 random_crop 而不是全局 resize验证和推理阶段用滑窗切 patch重叠率取 0.5保证目标不会恰好落在 patch 边界。4. 红外小目标检测的训练调参策略与典型故障4.1 先调损失函数BCE、Focal 与 Dice 的取舍红外小目标图像里前景像素不到 1%BCE loss 会把绝大多数梯度贡献给背景模型很容易趋于输出全零图。常见做法是改成 focal loss 加 dice loss 的加权组合训练阶段对正样本稀疏更友好p torch.sigmoid(logits) # 模型输出概率 t target_mask # 0/1 标注掩码 alpha, gamma 0.25, 2.0 focal -alpha * (1 - p) ** gamma * t * torch.log(p 1e-6) dice 1 - (2 * inter 1) / (union 1) loss 0.5 * focal.mean() 0.5 * dicefocal 用(1-p)^gamma压低易分类背景的权重把模型注意力拉向被预测错的目标dice 对前景稀疏不敏感直接优化预测区域与标注区域的叠合度。两路权重初始取 0.5/0.5训练几轮后如果 Fa 偏高再把 focal 权重提高让模型变得更保守。另一个常见误用是把通用检测里的分类分支硬加到小目标模型上红外小目标没有类别纹理分类分支只会增加过拟合。4.2 虚警抑制阈值、形态学与多帧确认即使训练收敛模型输出的概率图仍会在云层边缘出现孤立高响应点。最直接的手段是先取阈值再用形态学开运算打断细长的假目标import cv2 thr 0.5 pred (prob thr).astype(uint8) kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) pred cv2.morphologyEx(pred, cv2.MORPH_OPEN, kernel)MORPH_OPEN 由先腐蚀后膨胀组成能把单点噪声周围的零散像素去掉同时保留面积大于结构元素的真实目标。结构元素用 3×3 椭圆核目标只有 5×5 时不要用 5×5 核否则会把目标一起腐蚀掉。序列场景里我更依赖多帧确认连续 3 帧在同一位置都出现阈值以上的目标才判定为真。红外图像虚警通常来自固定边缘多帧确认对 Pd 损失很小Fa 往往能降一个数量级以上。4.3 训练不收敛时先查的三处配置下面表格里的三个问题我几乎每次换数据集都会遇到按顺序排查比盲目加大迭代次数有效。现象可能原因处理方法loss 下降但验证集 Pd 为 0数据加载时 mask 与图像没对齐打印重叠图检查概率图全背景或全前景输出少了 sigmoid 或 threshold 设太高确认输出后接 sigmoidthreshold 降到 0.3~0.5某个 batch 直接 OOMinput_size 过大或未开梯度累积降 batch或把 input_size 改到 256×256 验证还有一个容易被忽略的小目标检测里不要上来就大范围扫描学习率。固定 lr1e-4 配合 warmup 跑 50 轮先看 Pd 和 Fa 的走向网络骨干换成轻量结构后学习率要往下调ResNet 系的默认学习率对轻量模型往往偏大。这些细节直接影响模型的收敛速度和最终虚警率。5. 验证评价参数并部署红外小目标检测模型5.1 测试脚本与四个评价参数一起输出训练结束后把测试阶段整理成独立脚本一次输出 Pd、Fa、SCRG、BSF 四项。命令我一般这样组织python tools/inference.py \ --config configs/infrared_small_target.yaml \ --checkpoint work_dirs/dentist_irstd/latest.pth \ --test-dir datasets/IRSTD-1k/test \ --threshold 0.5 \ --save-dir outputs/irstd_pred脚本内部按第 2 章的 target_level_metrics 统计目标级 Pd 和 Fa同时保存概率图再对原图和预测图按局部窗口计算 SCRG 与 BSF。输出目录里保留两份关键产物逐帧坐标 txt 和保存成图片的概率可视化。只有指标数字没有可视化很难判断虚警来自边缘还是噪声。5.2 整图滑窗、ONNX 导出与多帧确认的组合技巧训练时用了滑窗测试阶段 640×512 大图也别整张直接进网络。先把图像裁成 320×320 patch、重叠 0.5推理完成后拼回全图重叠区两张概率图取平均能明显减少 patch 边界被截断引起的漏检。需要导出部署模型时把归一化参数和 threshold 一起写进配置文件不要在部署端用另一套 min-max 数值。ONNX 导出建议固定 input_shape 为[1,1,320,320]动态轴对红外小目标检测优化并不明显拿到 ONNX 后先用 onnxruntime 加载对同一组测试图逐像素对比输出最大误差小于 1e-3 才算通过。多帧确认是最后一个实用技巧单帧模型总会对固定边缘产生周期虚警把阈值后的检测结果按目标坐标做 3 帧关联同一位置出现次数少于 2 帧的检测直接丢弃Pd 基本不掉Fa 能压到接近零。把滑窗、归一化、阈值和多帧确认都落到同一个推理脚本里交付时才不会出现训练指标好、现场指标崩的偏差。本文还有配套的精品资源点击获取