MTTR掩膜生成原理:FPN空间解码器与实例分割核如何协同工作【免费下载链接】MTTR项目地址: https://gitcode.com/gh_mirrors/mt/MTTRMTTRMultimodal Tracking Transformer多模态跟踪 Transformer是 CVPR 2022 开源的端到端视频指代分割模型。很多新手第一次接触它的掩膜生成原理时都会被FPN空间解码器和实例分割核这两个概念绕晕。其实一句话就能说清FPN空间解码器负责把低分辨率的语义特征放大成高分辨率特征图实例分割核则是为每个被指代对象量身定制的权重滤镜两者相乘就得到最终的实例分割掩膜。本文用通俗的语言把这个协同过程完整拆解给你看。MTTR 是什么掩膜生成在视频指代分割中的角色先明确任务。视频指代分割Referring Video Object Segmentation要做的是给出一段视频和一句自然语言描述例如右边穿红色衣服的人模型需要在每一帧中把对应目标的掩膜mask逐像素分割出来。MTTR 的最大亮点是端到端——从文本到掩膜一条流水线走完无需任何人工后处理。而整条流水线中最关键的一环就是掩膜生成它决定了模型输出像素级分割结果的方式。MTTR 采用了一套罕见的双分支设计FPN空间解码器把 Transformer 输出的低分辨率特征还原成高分辨率特征图实例分割核把每个对象查询object query变成一段极短的分割权重向量。两个分支各自独立计算最后在一个乘法步骤中汇合。下面按步骤拆解。MTTR掩膜生成的整体流程五步看懂数据流要理解协同工作先看整体数据流。核心逻辑写在 models/mttr.py 的MTTR.forward中可以拆成五步视频编码Video Swin Transformer 骨干网络把视频帧编码成多尺度特征多模态融合视频特征与 RoBERTa 文本特征一起送入多模态 Transformer得到视频内存vid_memory与每个对象查询的输出向量空间解码视频内存 骨干中间层特征进入 FPN 空间解码器输出 8 通道高分辨率特征图核生成对象查询输出经过 MLP变成 8 维的实例分割核掩膜合成一次矩阵乘法把分割核与特征图相乘得到每个查询的掩膜 logits。完整的数据流可以这样看视频帧 ──► 骨干网络 ──► 多模态Transformer ──► 视频内存 ──► FPN空间解码器 ──► 高分辨率特征图(8通道) │ │ │ └──► 文本 ──► RoBERTa ──► └──► 对象查询输出 ──► MLP ──► 实例分割核(8维) │ ▼ 掩膜合成 ──► 逐查询掩膜FPN空间解码器工作原理如何把模糊特征变清晰Transformer 输出的视频内存分辨率很低输入 360×640 的视频视频内存大约只有其 1/32 大小直接用它做分割会丢失大量边缘细节。FPN 空间解码器FPNSpatialDecoder定义在 models/segmentation.py的任务就是结合骨干网络的中间层特征把特征逐级放大。它的结构非常有特点一连串 3×3 卷积 GroupNorm ReLU 的卷积块特征通道从 256 逐级减半256 → 128 → 64 → 32 → 16每个卷积块之间用 1×1 卷积adapter把骨干网络的对应层特征接进来与上采样后的特征逐元素相加——这正是 FPN 经典的横向连接 自顶向下思想上采样采用最近邻插值简单高效最终输出mask_kernels_dim 8通道的特征图数值在 configs/refer_youtube_vos.yaml 中配置。一张表看清维度变化以 Refer-YouTube-VOS 配置为例阶段输入来源通道数分辨率变化视频内存Transformer 输出256最低第 1~2 个卷积块—256 → 128保持第 1 次融合骨干层特征 上采样128放大第 2 次融合骨干层特征 上采样64进一步放大输出层—8最高值得注意FPN 空间解码器输出的 8 通道特征图是所有查询共享的。模型只需对它计算一次就能服务全部 50 个对象查询计算开销非常节省。实例分割核是怎么生成的每个查询的专属权重与共享特征图相对实例分割核是每查询专属的。在 models/mttr.py 中instance_kernels_head是一个两层 MLP256 → 256 → 8它把多模态 Transformer 解码器输出的每个对象查询向量256 维映射成 8 维的实例分割核。理解它的关键点是核不是像素而是权重。8 维核恰好对应 8 通道特征图的 8 个通道——核里的每个数字就是给对应通道打的注意力系数。这个思路借鉴了 CondInst 的动态实例分割思想每个实例拥有自己参数化的掩膜头从而能分割出形状各异的物体。掩膜预测的合成公式einsum 如何让两者相乘协同工作的高潮在 models/mttr.py 这一行output_masks torch.einsum(ltbnc,tbchw-ltbnhw, instance_kernels, decoded_frame_features)把这段符号翻译成人话instance_kernelsL 个解码层 × T 帧 × B 批次 × N 查询 × C8 的分割核decoded_frame_featuresT 帧 × B 批次 × C8 × H × W 的高分辨率特征图einsum做的事把每个查询的 8 维核与特征图上每个像素的 8 个通道做加权求和得到该查询在这一像素上的掩膜分数。换句话说FPN 空间解码器提供了8 种通用的视觉基元实例分割核则决定了每个对象分别该用多大权重组合这些基元。一个共享、一个专属这正是这套设计的精妙之处。得到掩膜 logits 后is_referred_head还会判断每个查询是否真的被文本指代把没被指到的查询过滤掉models/mttr.py。掩膜后处理从 logits 到最终分割结果模型输出的掩膜 logits 还不能直接用后处理模块见 models/postprocessing.py会完成收尾用双线性插值把低分辨率掩膜放大回模型输入尺寸经过 sigmoid 激活后用 0.5 阈值二值化得到 0/1 掩膜去掉 padding、还原到原始视频帧尺寸编码成 COCO RLE 格式方便用标准 mAP 指标评测。训练时掩膜质量由 DICE 损失与 Sigmoid Focal 损失共同监督见 models/segmentation.py前者聚焦掩膜与真值的重叠度后者则缓解正负像素严重不平衡的问题。总结共享特征图 专属权重 高效精准的掩膜生成回到最初的问题FPN 空间解码器与实例分割核如何协同工作一句话总结——FPN 空间解码器生成共享的高分辨率特征图实例分割核为每个对象生成专属的权重向量两者通过一次矩阵乘法合成逐实例掩膜。共享特征图保证了计算效率专属权重保证了每个实例的分割精度这正是 MTTR 在 A2D-Sentences、JHMDB-Sentences、Refer-YouTube-VOS 三大主流数据集上都取得领先结果的关键设计之一。如果你想深入源码建议按这个顺序阅读models/mttr.py → models/segmentation.py → models/postprocessing.py再对照配置文件 configs/refer_youtube_vos.yaml 理解参数含义很快就能把整条掩膜生成流水线串起来了。【免费下载链接】MTTR项目地址: https://gitcode.com/gh_mirrors/mt/MTTR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考