004、VDSR深度残差网络梯度裁剪与多尺度特征融合的数学推导去年在跑一个老照片修复项目时我遇到了一个让人抓狂的问题——模型训练到第30个epoch左右loss突然从0.02跳到了NaN。当时我盯着终端输出愣了十秒然后默默去翻VDSR的论文。后来发现这个问题早在2016年Kim等人就给出了解决方案梯度裁剪。今天我们就从这个问题出发把VDSR的数学原理彻底拆开揉碎。从梯度爆炸说起为什么VDSR需要梯度裁剪先说说那个NaN是怎么来的。VDSR网络有20层卷积每层后面跟着ReLU激活函数。当网络深度增加时梯度在反向传播过程中会经历连乘效应。假设每层梯度的范数都略大于1经过20层后梯度会指数级增长——这就是梯度爆炸。具体到数学表达设损失函数为L第l层的权重为W_l梯度可以写成∂L/∂W_l ∂L/∂x_L · ∏_{kl}^{L-1} (∂x_{k1}/∂x_k)其中x_k是第k层的输出。对于ReLU激活函数∂x_{k1}/∂x_k W_k^T · diag(1_{x_k0})。如果W_k的奇异值大于1这个连乘项就会爆炸。VDSR的做法很简单粗暴在每次梯度更新前检查梯度的L2范数。如果超过阈值τ论文中设为0.1就按比例缩放g_clipped g · min(1, τ/||g||_2)这里有个细节容易踩坑阈值τ不能设得太小。我一开始设了0.01结果模型收敛速度慢得像蜗牛。后来改成0.1才正常。原因很简单——梯度裁剪本质上是限制了单步更新的最大步长阈值太小相当于给模型戴上了脚镣。残差学习的数学本质为什么不是直接学习高分辨率图像VDSR的核心思想是学习低分辨率图像与高分辨率图像之间的残差。设输入为x插值后的低分辨率图像目标为y高分辨率图像网络学习的是F(x) y - x这个设计的数学依据是什么我们来看损失函数。VDSR使用均方误差MSEL (1/N) · Σ ||y_i - (x_i F(x_i))||²展开后得到L (1/N) · Σ ||(y_i - x_i) - F(x_i)||²注意y_i - x_i就是高频细节信息。这意味着VDSR本质上是在学习一个高频滤波器。为什么这样做有效因为低分辨率图像x已经包含了大部分低频信息如平滑区域、大尺度结构网络只需要专注于恢复高频细节边缘、纹理。从频域角度看设Y(ω)和X(ω)分别为y和x的傅里叶变换。由于x是y的下采样再插值的结果X(ω)在低频区域与Y(ω)接近但在高频区域衰减严重。残差学习相当于让网络学习一个高频增强函数H(ω) (Y(ω) - X(ω)) / X(ω)当然实际网络学到的不是简单的频域乘法而是复杂的非线性映射。多尺度特征融合20层卷积到底在干什么VDSR的20层卷积不是随意堆叠的。每层卷积核大小都是3×3但通过逐层堆叠感受野逐渐增大。第l层的感受野大小为(2l1)×(2l1)。到第20层时感受野达到41×41。这意味着什么浅层网络只能看到局部纹理深层网络能看到更大范围的上下文。VDSR通过将所有中间层的特征图都连接到输出层实现了多尺度特征融合。具体来说第l层的输出特征图f_l会通过一个1×1卷积论文中称为自适应层映射到残差图像空间然后所有映射结果求和F(x) Σ_{l1}^{20} W_l * f_l(x)这里W_l是1×1卷积核。这个设计的数学意义是不同尺度的特征对最终残差的贡献是加性的。从优化角度看这相当于给梯度提供了多条传播路径缓解了深层网络的梯度消失问题。别这样写代码——我见过有人把20个1×1卷积分别定义然后手动求和。正确的做法是用一个1×1卷积层输入通道数为20×64假设每层64个特征图输出通道数为1。这样参数共享训练更稳定。梯度裁剪的数学推导为什么阈值设为0.1回到梯度裁剪。我们推导一下为什么阈值τ0.1在VDSR中有效。设网络参数为θ梯度为g ∂L/∂θ。梯度裁剪后的更新量为Δθ -η · g_clipped -η · g · min(1, τ/||g||_2)其中η是学习率VDSR中初始为0.1每20个epoch衰减为原来的1/10。当||g||_2 τ时实际步长为η·τ/||g||_2。由于η0.1τ0.1实际步长不超过0.01/||g||_2。这个值为什么合理考虑一个简单的二次损失函数L(θ) (1/2)θ²梯度为gθ。梯度裁剪后更新量为Δθ -0.1 · θ · min(1, 0.1/|θ|)当|θ| 0.1时Δθ -0.01 · sign(θ)。这意味着参数每次更新最多变化0.01。对于VDSR这种深层网络参数数量约60万这个步长能保证训练稳定。但有个坑梯度裁剪会改变梯度的方向吗不会。它只缩放梯度的范数不改变方向。所以从优化角度看梯度裁剪相当于自适应学习率——当梯度太大时自动减小学习率。训练技巧从实践中总结的几点经验学习率衰减策略VDSR论文中每20个epoch将学习率乘以0.1。我在实际项目中改成每10个epoch乘以0.5效果更好。原因是梯度裁剪已经限制了步长学习率衰减太快会导致后期收敛过慢。权重初始化别用Xavier初始化。VDSR的20层卷积需要更小的初始权重。我习惯用均值为0、标准差为0.001的正态分布初始化。这样初始阶段的残差接近0训练更稳定。数据增强VDSR论文只用了翻转和旋转。我加了随机裁剪和颜色抖动PSNR提升了0.3dB左右。注意裁剪尺寸要大于感受野41×41否则边缘信息会丢失。Batch Size论文中用了64我试过128和32。128时训练速度快但PSNR略低32时PSNR高但训练慢。最终折中用了64。梯度裁剪的阈值调整如果训练初期loss就出现震荡把τ从0.1降到0.05。如果训练后期loss下降缓慢把τ升到0.2。这个参数需要根据具体数据集微调。写在最后VDSR虽然已经是2016年的工作但它的设计思想——残差学习、梯度裁剪、多尺度融合——至今仍是超分辨率领域的基石。我见过很多新论文号称超越了VDSR但仔细看代码核心模块还是那三板斧。如果你正在复现VDSR建议先跑通论文的原始配置20层、梯度裁剪τ0.1、学习率0.1然后再尝试改进。别一上来就加各种trick否则出了问题都不知道是哪里崩的。最后说个题外话VDSR的论文标题是Accurate Image Super-Resolution Using Very Deep Convolutional Networks但它的very deep在现在看来也就20层。技术迭代就是这么残酷——当年引以为傲的深度如今只是入门配置。但正是这些基础工作让我们今天能轻松训练上百层的网络。