SimCLR 论文详解谷歌 Hinton 团队2020对比学习开山之作论文全称A Simple Framework for Contrastive Learning of Visual Representations一、解决什么问题传统 CNN 训练都需要人工打标签标注成本极高。 作者思路不需要任何标签让模型自己分辨什么样的图片是同一张物体什么样的图片完全不一样。即同一张照片裁切、变色、模糊之后它本质还是同一个东西别的图片不管怎么改都跟它不是一类。二、整套框架共 4 个模块最核心强数据增强SimCLR 最大的贡献对任意一张原图随机做两种不一样的变换生成两张视图View1、View2这一对就是正样本。 增强组合随机裁剪缩放 色彩抖动亮度、对比度、色相 高斯模糊。 作用故意改变图片的外表逼着网络忽略颜色、光影这种表面东西抓住物体本身的结构特征。编码器 EncoderResNet 主干网络两张增强后的图片送入同一个 CNN提取图像的原始特征向量 h。非线性投影头 Projection HeadMLP 三层全连接把提取出来的特征 h再映射到另一个向量空间 z对比损失只在这个 z 空间计算。关键点预训练完成后直接把这个投影头扔掉只用前面 Encoder 的 h 去做分类、检测任务。损失函数NT-Xent归一化的 InfoNCE规则 把同一个图片的一对特征拉近 同一个批次里所有其他图片的特征全部当成负样本把它们推远。三、完整的训练流程一个批次里面有 N 张图片每张图生成两个不一样的增强版本总共 2N 张图。全部进同一个网络算出各自的特征。对于任意一个样本唯一的正样本是它自己的另一个增强图这个批次里剩下全部 2N-2 张全是负样本。计算对比损失不断迭代让特征拥有极强的区分能力。四、核心创新点论文最重要的结论数据增强的组合是对比学习能不能学好的第一要素。 单独裁剪效果很差搭配色彩扰动、模糊之后效果暴涨这是之前所有人没系统验证过的。必须加一个非线性的 MLP 投影头。 如果直接拿主干网络的特征去算损失模型很难学到有效的表征加了之后效果提升巨大。负样本越多效果越好。 所以 SimCLR 必须用超大 Batch4096、8192靠着一个批次内部天然产生海量负样本不需要额外的记忆库、队列。自监督学出来的特征迁移能力极强。只用 1% 的标签微调效果就能追上完整有监督训练的 ResNet。五、优点和天生的缺陷✅ 优点结构极度干净只有一个编码器没有动量网络、没有队列代码写起来最简单学到的特征鲁棒性极强在小样本、跨数据集迁移任务里表现特别好奠定了后续 BYOL、DINO、CLIP 等几乎所有对比学习的基础范式。❌ 缺点极度吃显存必须多卡集群凑超大 Batch普通单卡根本跑不起来负样本只能取自当前这一批次一旦 batch 很小负样本数量不足效果会断崖式下跌没有任何机制保存历史样本硬件条件受限的时候很难复现指标。六、和 MoCo 的区别SimCLR单编码器负样本来自当前批次靠堆大 GPU 批次结构简单硬件门槛高。MoCo双编码器动量 key 网络用队列缓存历史样本当负样本小显卡就能跑结构稍微复杂。七、复现论文的两个误区误区把投影头的输出拿来做下游任务。 正确做法预训练结束MLP 投影头直接丢弃只用 Encoder 输出的特征。误区随便用很弱的数据增强。 SimCLR 的性能完全建立在强增强之上如果只做翻转、裁剪根本收敛不了。八、学习总结SimCLR 证明了一件事不用标签单纯依靠 “辨别是不是同一张图” 这个任务就可以训练出媲美有监督的视觉模型。 它没有花哨的结构纯粹把数据增强、特征映射、对比损失这三件事做到极致把对比学习的研究路线彻底带火了。九、中文完整翻译摘要 核心章节摘要本文提出 SimCLR一套极简的视觉表征对比学习框架。该框架在隐空间中通过对比损失最大化同一图像不同增广视图间的特征一致性。为系统探究有效对比学习的核心要素我们对框架各组件开展消融实验得到三点关键结论多种强数据增强组合是构建有效对比预测任务的核心无监督对比学习所需的数据增强强度远高于监督学习。在原始表征与对比损失之间增加可学习非线性投影头能大幅提升表征质量。归一化隐嵌入、增大批次尺寸能显著改善对比交叉熵损失的学习效果。结合以上设计我们的极简方法在 ImageNet 线性评测上超越所有前人自监督算法基于 ResNet-50 取得 76.5% Top-1 精度媲美大量监督预训练基线。同时预训练表征可高效迁移至目标检测等下游任务。1 引言无人工标注的视觉表征学习是长期研究难题。现有对比学习方法虽效果可观但依赖复杂专用网络、记忆库或动量编码器复现与分析难度极高。本文将对比学习简化至核心模块并逐项拆解设计选择。SimCLR 无需记忆库、无定制网络结构仅使用标准 ResNet 骨干网络。通过大规模消融实验我们确定三项能大幅提升表征能力的核心设计复合强数据增强、非线性投影 MLP、大批次归一化对比损失。在 ImageNet 线性分类任务上SimCLR 大幅领先前人方法使用少量标注数据微调时半监督性能同样具备竞争力。实验证明自监督对比学习随模型容量、训练批次规模的扩展性远优于监督学习。2 方法SimCLR 整体框架框架分为四大模块随机数据增强模块对单张原图x随机采样两组独立增广变换t,t′生成两张关联视图、二者构成正样本对同一批次内其余所有增广样本均为负样本。 本文流水线依次执行随机裁剪缩放、随机色彩扰动、高斯模糊。基础编码器f(⋅)采用标准 ResNet 作为编码器hi为全局平均池化输出是下游任务最终使用的表征。投影头g(⋅)带 ReLU 激活的两层 MLP将表征h映射至计算对比损失的隐空间z关键预训练完成后直接丢弃投影头g仅使用编码器输出h做下游任务。对比损失NT-Xent归一化温度交叉熵批次含N张原图增广后得到2N个视图。对正样本对(i,j)损失公式sim(u,v)为余弦相似度τ是温度超参。 批次总损失为所有正负配对损失均值。3 数据增强实验单独裁剪、单独色彩扰动效果极差裁剪 色彩扰动组合精度大幅提升叠加高斯模糊进一步涨点。 对比学习必须使用强增强弱增强会导致特征坍塌所有样本嵌入向量趋同。4 模块消融关键结论投影头不可或缺直接在h上计算损失线性精度暴跌超 10%非线性 MLP 过滤与对比任务无关的冗余信息保留可迁移视觉特征。归一化与温度对z做 L2 归一化稳定训练ImageNet 最优温度τ0.1无归一化时大批次极易训练崩溃。批次与训练轮数自监督随批次增大显著涨点8192 批次相比 256 批次精度提升 7% 以上延长训练周期持续优化表征。模型缩放加深加宽 ResNet50/101/152精度稳定提升收益远大于监督预训练。5 实验主结果ImageNet 线性评测ResNet-50 SimCLR 达到 76.5% Top-1超越 MoCo、CPC 等全部自监督基线半监督学习仅使用 1%/10% ImageNet 标注微调性能显著优于监督 ResNet-50下游迁移预训练编码器可直接迁移至 COCO 目标检测、分割、CIFAR 小数据集分类。6 结论本文提出极简且高性能的对比学习框架 SimCLR。通过系统性消融实验确定三大核心设计复合强数据增强、非线性投影头、搭配大批次的归一化 NT-Xent 损失。该极简框架在 ImageNet 自监督表征学习取得 SOTA且能稳健迁移至各类视觉下游任务。未来可将 SimCLR 扩展至更大模型、多模态对比学习领域。十、阅读与下载说明直接复制链接到浏览器即可打开完整 PDF含全部图表、消融实验、参考文献 https://arxiv.org/pdf/2002.05709.pdf如需可运行的 PyTorch/TensorFlow 复现代码访问谷歌官方仓库 https://github.com/google-research/simclr
