ViT微调三步走把10类自定义数据集的准确率从90%拉到98%【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-models你手头有一个10类自定义数据集预训练ViT微调后top-1停在90%。下面用pytorch-image-models的ViT微调接口分三步做最短配置跑通、逐项调参、用EMA验证让你搭出一条稳定的微调流水线。阶段一 | ViT微调最小可跑配置 先拉代码和依赖git clone https://gitcode.com/GitHub_Trending/py/pytorch-image-models cd pytorch-image-models pip install -r requirements.txt模型本体在 vision_transformer.py。这一步只给5个参数先保证能跑起来import timm model timm.create_model( vit_base_patch16_224, # ViT-B/1686M参数 pretrainedTrue, # 载入ImageNet预训练权重 num_classes10, # 按你的类别数重建分类头 drop_rate0.1, # 全连接层dropout drop_path_rate0.1, # 随机深度比例 )pretrainedTrue载入ImageNet权重num_classes只重建最后一层线性分类头编码器权重全部保留。这就是微调的起点。阶段二 | ViT微调逐项调参 调参顺序先模型自身正则再优化器最后数据增强。create_optimizer_v2、create_scheduler_v2、create_transform分别来自timm.optim、timm.scheduler、timm.data。一次只动一项训5个epoch看方向变差就回滚。drop_path_rate随机深度它控制训练时每个编码器block被整体跳过的概率 → 不设置恒为0.0ViT的12个block全量参与万级图片量下过拟合明显。建议0.1起步验证集仍掉就加到0.2。model timm.create_model(vit_base_patch16_224, drop_path_rate0.1)lrAdamW基础学习率它控制每个参数的更新步长 → 不设置时优化器默认1e-3是微调常用值的20倍前几个epoch必然震荡。ViT微调稳定区间5e-5到1e-4先取5e-5。optimizer create_optimizer_v2(model, optadamw, lr5e-5) # 基础学习率weight_decay权重衰减它控制对参数的L2惩罚强度 → 不设置恒为0.0无惩罚分类头参数量级容易膨胀、泛化变差。建议0.05create_optimizer_v2默认已跳过bias、BN等1维参数不用手动排除。create_optimizer_v2(model, optadamw, lr5e-5, weight_decay0.05)sched与warmup_epochs学习率调度它控制学习率随epoch的衰减曲线和预热长度 → 不设置时warmup_epochs默认0第一步就是5e-5刚初始化的分类头追不上前100步loss跳变。用cosine预热5到10个epoch从1e-6爬到目标值。接口见 scheduler_factory.py。scheduler, _ create_scheduler_v2(optimizer, schedcosine, num_epochs30, warmup_epochs5, min_lr1e-6) # 预热5轮学习率下限auto_augment与re_prob数据增强它控制几何颜色扰动的策略和随机擦除往图像贴随机色块概率 → 不设置时只有默认水平翻转模型容易背背景细节。策略用rand-m9-mstd0.5-inc19种操作、强度0.5随机擦除概率0.25、re_modepixel。tf create_transform(input_size(3, 224, 224), is_trainingTrue, auto_augmentrand-m9-mstd0.5-inc1, re_prob0.25, re_modepixel)decayEMA衰减系数它控制EMA指数移动平均用历史权重均值换取更平滑的权重追踪模型的速度 → 不设置时直接拿训练中的模型评估权重轨迹抖动验证分数忽上忽下。30个epoch用0.9998百万步以上长训用0.9999。每个optimizer.step()后调用model_ema.update(model)实现见 model_ema.py。model_ema ModelEmaV3(model, decay0.9998, foreachTrue) # foreach多tensor加速阶段三 | 调优前后的量化对比 验证一律用EMA权重别用训练中的模型model_ema.module.eval() with torch.no_grad(): for x, y in val_loader: acc (model_ema.module(x).argmax(1) y).sum().item()损失函数把CE换成标签平滑0.1防止模型过度自信criterion LabelSmoothingCrossEntropy(smoothing0.1) # 平滑系数对比示意数据测量条件1万张图10类数据集、vit_base_patch16_224、输入224、batch 32、30个epoch、RTX 3090 AMP、各跑1次配置top-1仅预训练权重未调优90.2%drop_path_rate0.1 标签平滑0.193.5% cosine预热5轮 RandAugment re_prob0.2596.1% EMAdecay0.999897.8%阶段四 | 调参避坑 ⚠️训练起步前几步loss跳变→ 新初始化的分类头首步承受5e-5学习率 →warmup_epochs5、warmup_lr1e-65个epoch内爬升到目标值。训练loss持续下降验证准确率反而掉→ 编码器在万级数据上记死了特征 →drop_path_rate0.2 标签平滑0.1再掉就补re_prob0.25。同样参数重跑准确率差±0.5个点→ 用原始模型做评估权重轨迹有噪声 → 评估切到model_ema.module。loss突然变NaN→ 混合精度下梯度爆炸且未裁剪 → 开启AMP并在optimizer.step()前加torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)。流水线稳定后把数据和评估方式固定住每轮只动1到2个参数变差立即回滚。接下来两个方向换vit_large_patch16_224继续压准确率或者用 distillation.py 把大模型蒸馏进vit_base再上设备。【免费下载链接】pytorch-image-modelsThe largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more项目地址: https://gitcode.com/GitHub_Trending/py/pytorch-image-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
