1. Transformer架构的核心设计思想Transformer架构的核心创新在于完全摒弃了传统的循环神经网络(RNN)和卷积神经网络(CNN)转而采用自注意力机制(Self-Attention)作为基础构建模块。这种设计带来了三个关键优势并行计算能力与RNN的序列计算不同自注意力机制可以同时处理所有输入token长距离依赖建模不受CNN局部感受野限制可以直接建模任意距离的token关系可解释性注意力权重直观展示了模型关注的重点1.1 自注意力机制详解自注意力机制的计算过程可以分为以下步骤输入表示每个token通过嵌入层转换为d_model维向量线性变换为每个token生成Query(Q)、Key(K)、Value(V)三个向量Q表示当前token要查询的信息K表示当前token可以提供的信息V表示当前token的实际内容注意力分数计算通过Q与所有K的点积得到注意力分数分数归一化使用softmax将分数转换为概率分布加权求和用注意力权重对V进行加权求和得到输出数学表达式为 Attention(Q,K,V) softmax(QK^T/√d_k)V其中d_k是Key向量的维度√d_k用于缩放点积结果防止梯度消失。1.2 多头注意力机制Transformer采用了多头注意力(Multi-Head Attention)来增强模型的表达能力将Q、K、V通过不同的线性变换投影到h个子空间在每个子空间独立计算注意力将h个头的输出拼接后通过线性变换得到最终输出这种设计允许模型在不同表示子空间学习不同的关注模式捕获更丰富的上下文信息提高模型的鲁棒性1.3 位置编码由于自注意力机制本身不考虑token的顺序信息Transformer引入了位置编码(Positional Encoding)来注入序列位置信息使用不同频率的正弦和余弦函数生成位置编码将位置编码与token嵌入相加作为最终输入这种设计使模型能够学习利用相对位置信息位置编码的计算公式为 PE(pos,2i) sin(pos/10000^(2i/d_model)) PE(pos,2i1) cos(pos/10000^(2i/d_model))2. Transformer的完整架构2.1 编码器结构Transformer编码器由N个相同的层堆叠而成每层包含多头自注意力子层计算输入序列的自注意力表示采用残差连接和层归一化前馈神经网络子层两个线性变换夹一个ReLU激活同样采用残差连接和层归一化关键设计细节层归一化在残差连接之后进行每个子层的输出为LayerNorm(x Sublayer(x))前馈网络的内层维度通常为d_model的4倍2.2 解码器结构解码器也由N个相同的层堆叠但每层包含三个子层掩码多头自注意力防止当前位置关注后续位置保证自回归生成的性质编码器-解码器注意力让解码器关注编码器的输出实现源语言到目标语言的对齐前馈神经网络与编码器中的结构相同2.3 注意力机制变体除了标准的多头注意力还有几种重要的变体交叉注意力(Cross-Attention)用于编码器-解码器交互解码器的Q与编码器的K、V计算注意力稀疏注意力(Sparse Attention)限制每个token只能关注部分token降低计算复杂度局部注意力(Local Attention)结合CNN的局部性思想每个token只关注固定窗口内的邻居3. Transformer的训练与优化3.1 训练目标Transformer的训练通常采用以下目标函数交叉熵损失衡量预测分布与真实分布的差异适用于分类和生成任务标签平滑(Label Smoothing)防止模型对预测过于自信提高泛化能力辅助损失(Auxiliary Loss)如BERT的NSP任务帮助模型学习更多样化的特征3.2 优化策略Transformer训练中常用的优化技术包括学习率调度Warmup训练初期线性增加学习率后期采用余弦衰减等策略梯度裁剪防止梯度爆炸通常设置最大范数阈值权重衰减L2正则化防止过拟合对某些参数(如LayerNorm)不适用3.3 正则化方法提高Transformer泛化能力的技术Dropout应用于注意力权重和前馈网络典型比率为0.1-0.3注意力Dropout随机丢弃部分注意力连接层Dropout随机跳过某些层的计算4. Transformer的现代演进4.1 模型架构改进相对位置编码替代绝对位置编码更好地处理长序列层归一化变体Pre-LN vs Post-LN影响训练稳定性和收敛速度稀疏化与蒸馏降低计算资源需求保持模型性能4.2 注意力机制优化线性注意力将复杂度从O(n²)降到O(n)适用于长序列处理内存高效注意力减少内存占用支持更大batch size混合注意力结合局部和全局注意力平衡计算效率和模型性能4.3 大模型训练技术模型并行将模型拆分到多个设备包括张量并行和流水线并行混合精度训练使用FP16/BF16减少内存占用配合梯度缩放保持稳定性检查点技术定期保存中间状态支持训练恢复和模型分析