在深度学习中归一化Normalization技术对于加速模型训练和提升泛化能力至关重要。传统的 Transformer 架构通常采用 LayerNorm 进行归一化操作。在原始 Transformer 中使用的是 PostNorm即对每个子层的输出进行归一化。但这种方式在训练深层模型时梯度容易出现不稳定的情况导致训练效率低下和收敛困难等问题。而 LLaMA 改用 PreNorm也就是对每个 Transformer 子层的输入进行归一化这样可以有效缓解梯度不稳定的问题使得模型在训练过程中梯度能够更加平稳地传播进而加快训练速度提高训练的稳定性。然而LayerNorm在计算过程中需要计算输入特征的均值这在某些情况下可能会引入不必要的计算开销并且均值的计算可能会对输入特征的信息造成一定的损失。为了解决这些问题RMSNorm作为一种改进的归一化方法应运而生。RMSNorm仅计算输入特征的均方根Root Mean Square而不考虑均值。这种方法不仅减少了计算开销还能更好地保留输入特征的信息从而在某些任务上取得更好的性能。从缩放scaling和平移shifting的角度来看LayerNorm的主要收益来自于缩放操作而非平移操作。具体而言LayerNorm通过计算输入特征的均值和方差对输入进行标准化然后应用可学习的缩放因子γ和偏移量β来调整输出。然而研究表明LayerNorm的性能提升主要源自于缩放操作而平移操作对性能的影响相对较小。这意味着去除平移操作可能不会显著影响模型性能。基于这一发现RMSNorm提出了仅进行缩放操作的归一化方法。RMSNorm通过计算输入特征的均方根对输入进行标准化然后应用可学习的缩放因子γ来调整输出。这种方法简化了计算过程减少了计算开销同时保留了LayerNorm的主要优势。RMSNorm在多个任务上表现出色尤其是在处理长序列数据时能够显著提高训练效率和模型性能。例如在自然语言处理任务中使用RMSNorm的模型在训练速度和泛化能力上均优于使用LayerNorm的模型。RMSNorm 不计算均值计算效率更⾼更适合⼤规模数据计算。RMSNorm 减轻了内部协变量偏移的影响仅对输⼊的均⽅根值进⾏归⼀化受异常特征值导致的 梯度不稳定影响更⼩训练更加稳定。内部协变量偏移指在神经网络训练过程中各层输入的分布会随着前层参数更新而不断变化导致模型需要持续适应新的分布增加了训练难度如梯度消失、训练不稳定。RMSNorm 可以加快模型收敛速度降低了训练初期模型需要调整的幅度