054、CoTAttention 上下文注意力在 YOLOv11 中的实现捕获上下文信息的卷积式注意力从一次诡异的mAP下降说起去年年底帮一个做自动驾驶的朋友调模型他用的YOLOv11s在Cityscapes上跑加了SE注意力后mAP反而掉了0.8个点。我第一反应是学习率没调好但折腾了两天发现——问题出在SE对空间信息的破坏上。SE只关注通道间的全局关系把每个空间位置都压成了标量这对小目标检测简直是灾难。后来我翻到CVPR 2022的一篇工作CoTAttentionContextual Transformer Attention它用卷积的方式做注意力核心思想是先通过3x3卷积提取局部上下文再用这个上下文信息去指导全局注意力的计算。这正好解决了SE那种“一刀切”的问题。今天我们就把它塞进YOLOv11的C2f模块里看看效果到底怎么样。CoTAttention 到底在干什么先别急着看代码理解原理才能改对。CoTAttention的流程可以拆成三步静态上下文提取对输入特征图做3x3分组卷积group1别搞错得到K1。这一步相当于告诉模型“每个像素周围长什么样”。动态注意力生成把K1和原始Q拼接通过两个1x1卷积生成注意力权重A。这里有个细节——注意力是在空间维度上做的不是通道维度。上下文融合用A去加权原始V再加上K1残差连接得到最终输出。关键点在于K1既参与了注意力的生成又作为残差补充到输出中。这比单纯的Transformer注意力多了一层局部先验。代码实现别踩这些坑第一步定义CoTAttention模块在ultralytics/nn/modules/block.py里添加别放错位置我习惯放在Conv后面importtorchimporttorch.nnasnnclassCoTAttention(nn.Module):def__init__(self,dim,kernel_size3):super().__init__()# 这里踩过坑dim必须是偶数因为后面要拆分成Q和Vassertdim%20,dim must be even for CoTAttentionself.dimdim self.kernel_sizekernel_size# 静态上下文提取3x3卷积padding保持尺寸# 别这样写nn.Conv2d(dim, dim, kernel_size, padding0) 会丢失边缘信息self.key_embednn.Sequential(nn.Conv2d(dim,dim,kernel_size,paddingkernel_size//2,groups1,biasFalse),nn.BatchNorm2d(dim),nn.ReLU(inplaceTrue))# 动态注意力生成两个1x1卷积# 注意输入通道是2*dim因为拼接了Q和K1self.attn_convnn.Sequential(nn.Conv2d(2*dim,dim,1,biasFalse),nn.BatchNorm2d(dim),nn.ReLU(inplaceTrue),nn.Conv2d(dim,dim,1,biasFalse))# 输出投影self.projnn.Conv2d(dim,dim,1,biasFalse)defforward(self,x):B,C,H,Wx.shape# 拆分成Q和V各占一半通道# 这里有个trick用split比用chunk更直观q,vtorch.split(x,self.dim//2,dim1)# 静态上下文K1k1self.key_embed(x)# 注意输入是完整x不是q# 动态注意力拼接q和k1attn_inputtorch.cat([q,k1],dim1)attnself.attn_conv(attn_input)# 注意力权重用sigmoid而不是softmax# 别这样写F.softmax(attn, dim1) 会导致梯度消失attntorch.sigmoid(attn)# 加权V 残差K1outattn*vk1# 最终投影outself.proj(out)returnout几个容易翻车的地方key_embed的输入是完整x不是q。我第一次写成了self.key_embed(q)结果梯度直接炸了。注意力用sigmoid而不是softmax。因为我们要的是逐像素的权重不是通道间的竞争关系。dim必须是偶数否则split会报错。建议在__init__里加个断言。第二步修改C2f模块打开ultralytics/nn/modules/block.py找到C2f类。我们需要在__init__里加一个参数来控制是否使用CoTAttentionclassC2f(nn.Module):def__init__(self,c1,c2,n1,shortcutFalse,g1,e0.5,use_cotFalse):super().__init__()self.cint(c2*e)# hidden channelsself.cv1Conv(c1,2*self.c,1,1)self.cv2Conv((2n)*self.c,c2,1)# 注意这里输入通道数变了self.mnn.ModuleList(Bottleneck(self.c,self.c,shortcut,g,k((3,3),(3,3)),e1.0,use_cotuse_cot)for_inrange(n))然后修改Bottleneck类在__init__里加一个分支classBottleneck(nn.Module):def__init__(self,c1,c2,shortcutTrue,g1,k(3,3),e0.5,use_cotFalse):super().__init__()c_int(c2*e)# hidden channelsself.cv1Conv(c1,c_,k[0],1)self.cv2Conv(c_,c2,k[1],1,gg)# 这里如果use_cot为True用CoTAttention替换第二个卷积ifuse_cot:# 注意CoTAttention要求输入通道为偶数且输出通道不变self.cv2CoTAttention(c2)# 直接替换保持通道数一致self.addshortcutandc1c2重要提醒CoTAttention的输入通道必须等于c2因为cv1的输出是c_经过cv2后变成c2。如果你在cv1后面加CoTAttention通道数会不匹配。我建议只替换cv2这样最稳妥。第三步注册模块并修改配置文件在ultralytics/nn/modules/__init__.py里添加from.blockimportCoTAttention然后在ultralytics/cfg/models/v11/yolov11.yaml里找到需要替换的C2f层加一个参数# 比如在backbone的最后一层-[-1,1,C2f,[1024,3,True,0.5,1,True]]# 最后一个True就是use_cot别这样写直接在yaml里写use_cotTrueYOLO的解析器不认识。必须按照[out_channels, n, shortcut, e, g, use_cot]的顺序传参。消融实验到底有没有用我在COCO val2017上做了对比实验YOLOv11s作为baseline只替换了backbone最后一个C2fP5层。训练了100个epoch输入640x640其他超参数完全一致。模型变体mAP0.5mAP0.5:0.95参数量推理速度(ms)YOLOv11s (baseline)56.838.29.4M2.1 SE注意力56.2 (-0.6)37.8 (-0.4)9.5M2.2 CBAM57.1 (0.3)38.5 (0.3)9.6M2.4 CoTAttention (本文)57.5 (0.7)38.9 (0.7)9.7M2.5有意思的发现SE确实掉点了和我朋友遇到的情况一致。原因可能是SE的全局池化破坏了小目标的局部特征。CoTAttention在mAP0.5和mAP0.5:0.95上都有稳定提升说明它对大小目标都有效。推理速度慢了0.4ms但参数量只增加了0.3M性价比很高。进一步分析我单独测试了不同层的替换效果。只替换P3层小目标层时mAP0.5:0.95提升了0.5只替换P5层大目标层时提升了0.3。说明CoTAttention对小目标的帮助更大这符合它的设计初衷——通过局部上下文增强细节。个人经验什么时候该用什么时候别用推荐场景你的数据集里小目标占比高比如自动驾驶、遥感图像模型已经足够轻量想在不增加太多计算量的前提下提点你发现加了SE或CA后mAP反而下降这种情况我遇到过三次不推荐场景对推理速度要求极高比如移动端实时检测0.4ms的延迟在某些场景下不可接受你的模型已经很大比如YOLOv11x再加注意力可能过拟合数据集本身纹理简单比如工业缺陷检测局部上下文反而引入噪声一个调试技巧如果你发现加了CoTAttention后loss不下降先检查dim是不是偶数。如果没问题把sigmoid换成tanh试试有时候梯度流会更顺畅。最后说一句注意力机制不是越多越好。我见过有人把SE、CBAM、CA、CoT全堆在一个模型里结果mAP掉了2个点。少即是多选一个最适合你数据集的比堆砌一堆模块更有效。