最近在梳理推理模型Reasoning Models的训练链路时反复看到一个关键词On-Policy Self-Distillation。很多团队想用强模型去蒸馏高质量的推理轨迹给轻量学生模型结果却经常遇到分布偏移、训练崩溃、学生模型退化成“死记硬背”等问题。这篇文章从DASHDivergence-Adaptive Supervision Horizons这个思路出发结合 PPO 为什么是 on-policy、自蒸馏为什么难做、推理模型中监督范围如何动态调整整理一套我从原理到实现层面的学习笔记。内容会比较偏向工程视角包含核心概念拆解、简化可运行的教学代码、训练流程建议和常见的踩坑点。无论你是刚接触 LLM 强化学习还是在做推理模型蒸馏落地都可以参考。1. 背景推理模型训练为什么需要“自适应监督”推理模型指的是在回答问题、解题、代码生成等任务中通过生成较长的中间推理链CoTChain-of-Thought来提升准确率的语言模型。这类模型通常需要经过强化学习RL或偏好优化阶段才能学会“想清楚再回答”。目前比较成熟的训练路径是在通用 SFT有监督微调基础上让模型生成候选答案。利用规则或可验证奖励verifiable reward评估答案是否正确例如数学题结果是否相等、代码能否通过测试。用 PPO、GRPO 等 on-policy 强化学习算法更新模型促使模型产生更多高奖励的推理过程。看起来这条路径很清晰但在实际工程里有一个很突出的问题奖励信号稀疏训练成本高。尤其当你想把一个大模型的能力蒸馏到小模型时简单地把教师模型的完整推理过程“喂”给学生往往效果并不好。学生可能学会了教师的形式却学不会教师的内在决策逻辑一旦学生自己 rollout 时进入教师从未见过的状态模型就会偏离训练分布。DASH 要解决的正是这类问题在 on-policy 自蒸馏过程中根据当前分布发散程度divergence自适应调整监督范围supervision horizon。换句话说不是全程教师监督也不是全程学生自由探索而是动态决定“教师应该在多长的序列范围内给学生提供监督”。这样做的好处也很直观学生模型和教师模型的分布接近时可以放开更多自由探索分布偏移过大时需要缩短监督间隔防止模型走偏。2. 前置知识On-Policy、自蒸馏与推理模型在深入 DASH 之前需要先把几个核心概念说清楚尤其是“为什么说 PPO 是 on-policy”。2.1 为什么说 PPO 是 On-Policy在强化学习中策略policy是用一个神经网络表示的状态到动作的映射。训练过程中存在两个策略行为策略behavior policy用来与环境交互、采集训练数据的策略。目标策略target policy当前正在更新、希望最终收敛到的策略。当二者完全一致时这种学习方式就是on-policy如果不一致则是off-policy。PPOProximal Policy Optimization之所以被称为 on-policy是因为它要求训练数据必须由当前正在更新的策略采样得到。每一步更新后旧策略采样出来的数据就不再适合继续训练或者说需要用重要性采样等方式修正偏差但 PPO 的核心设计仍然假设训练数据来自近期策略。以 LLM 强化学习为例1. 当前策略 policy_theta 生成一批回答。 2. 对每个回答计算 reward例如答案正确得 1 分否则得 0 分。 3. 用这批数据和 reward 更新 policy_theta。 4. 更新完成丢弃旧数据重新采样。这正是 on-policy 的特点数据用一次就丢弃采样效率相对较低但训练稳定、分布偏差小。在推理模型训练中PPO 还有一个常见的变体叫做 GRPOGroup Relative Policy Optimization。GRPO 去掉了 Critic 模型通过同一组采样样本之间的相对得分来计算优势函数显著降低了显存占用因此被广泛用于 LLM 的 RL 训练。2.2 Self-Distillation自己教自己传统知识蒸馏中我们有一个教师模型和一个学生模型教师输出软标签或完整轨迹学生模型以模仿教师为目标进行训练。Self-Distillation 也遵循类似的教师-学生范式但更强调学生模型自身的生成数据也参与训练。这里有两种常见做法学生模型生成推理轨迹教师模型对轨迹逐个 token 打分作为额外的监督信号。学生模型与教师模型同源例如教师是学生的高步数检查点学生是当前检查点通过蒸馏保持训练稳定性。On-policy self-distillation 的核心特征是学生模型生成的轨迹来自当前正在训练的策略。它保证蒸馏数据与当前策略分布尽量同步避免学生模型在迭代过程中和训练数据脱节。2.3 Reasoning Models 与 ReAct 的关系推理模型强调模型内部的长思维链。ReActReasoning Acting则是在推理过程中同时引入“行动”和“工具”的概念。比如模型可以先生成一段推理然后调用搜索或代码执行工具观察结果后再继续推理。DASH 所关注的自蒸馏机制可以同时适用于纯文本推理模型和 ReAct 风格的智能体模型。区别在于纯推理模型监督单位是普通 token 序列。ReAct 风格模型监督单位除了推理 token还包括工具调用动作、观察结果等结构化片段。DASH 的“监督范围”概念在处理 ReAct 轨迹时更有实际操作意义你不需要对一串很长的“思考 行动 观察”全程施加教师监督可以在发散度允许的时间窗口内让学生自己探索和行动。3. DASH 核心机制拆解3.1 核心想法的直观理解先思考一个训练中的常见矛盾。假设我们有一个强教师模型和一个弱学生模型想让弱学生模型学会解决数学应用题。如果全程做 teacher forcing也就是把教师的完整答案逐 token 教给学生学生会很快拟合教师的表达风格但推理能力可能学不到位。而且训练推理时每一步用的都是教师的 token 而不是学生自己的 token产生了exposure bias曝光偏差。如果完全放开让学生自己生成完整推理链然后根据最终答案给奖励训练容易不稳定。因为初始学生模型太弱很可能一直生成低奖励轨迹梯度信号稀疏。DASH 提出了一个折中思路动态决定监督范围。设学生模型在当前状态下的输出分布和教师模型的输出分布之间存在一个发散度divergence D(P_student || P_teacher)当 divergence 较小时说明学生模型的决策与教师比较接近此时可以放心地让学生“自由发挥”更长的一段轨迹再提供稀疏监督。这一段的长度就是supervision horizon。当 divergence 较大时说明学生模型正在偏离教师此时应当缩短监督范围让学生每走几步就看到教师的指导避免越偏越远。所以 DASH 实际上是divergence 小 - supervision horizon 长 - 学生自由度高 divergence 大 - supervision horizon 短 - 教师介入度高3.2 Divergence 的度量方式在 LLM 场景中发散度可以用多种方式计算常见的有Token-level KL 散度同一输入下教师和学生输出 logits 的 KL 散度。轨迹级语义相似度计算教师生成轨迹和学生生成轨迹的语义相似度但成本较高。动作概率差异对于 ReAct 风格模型可以单独计算动作 token 的选择概率差异。论文标题中的 “Divergence-Adaptive” 重点在“自适应”因此具体使用哪一种 divergence 指标通常根据训练场景灵活选择。工程上最常用的是 KL 散度因为它直接由前向传播得到不需要额外模型计算开销低。3.3 Supervision Horizon 的含义supervision horizon可以理解为教师监督信号连续施加的最大步数。举一个简化例子学生开始生成推理轨迹。 第 1 步到第 8 步教师提供 token 级交叉熵监督。 第 9 步开始教师停止监督学生自由生成。 第 20 步根据生成结果计算奖励更新学生模型。这里的 horizon 是 8前 8 步教师介入后面交给学生自由发挥。DASH 的“自适应”体现在 horizon 是动态的if divergence high_threshold: horizon max(min_horizon, horizon - 1) elif divergence low_threshold: horizon min(max_horizon, horizon 1)当然这只是最简单的升降式调度。实际算法中可能使用连续函数映射让 horizon 随 divergence 平滑变化。3.4 为什么能提高蒸馏效果从训练动态角度看DASH 相当于在“学生完全模仿教师”和“学生完全自我探索”这两个极端之间建立了一个由分布偏移控制的平滑过渡。早期训练学生模型较弱divergence 偏高DASH 会保持较短的监督范围确保学生获得足够的教师信息快速学会基础推理模式。中期训练学生能力提升divergence 下降DASH 自动延长监督范围让学生在局部区域自由探索避免过度依赖教师。后期训练divergence 稳定在较低水平DASH 几乎完全放开学生训练退化为 on-policy RL。这个过程类似课程学习curriculum learning但信号不是来自外部预先定义的任务难度而是来自学生模型自身的分布变化。4. 算法流程与 Python 教学实现这一节我们用一个简化的 PyTorch 示例把 DASH 的核心逻辑落地。注意这是用于理解思路的教学代码不是某个论文的官方实现真正在 LLM 上训练时需要根据你的模型框架、并行策略和 tokenizer 做调整。4.1 完整训练流程伪代码初始化学生模型 policy_student 初始化教师模型 policy_teacher冻结参数 设置 min_horizon, max_horizon, divergence_threshold for each training_step: 1. 获取一个 prompt batch 2. 学生模型按当前策略 rollout生成推理轨迹 3. 在每个轨迹步骤中 a. 计算学生和教师在该位置的 token 分布差异 b. 根据差异更新当前 supervision horizon c. 若当前步在 horizon 内则叠加教师 token 级监督 loss 4. 对 horizon 之后的 token用 reward 计算策略梯度 loss 5. 更新学生模型参数 6. 记录 divergence 与 horizon 变化曲线4.2 简化版 DASH 核心实现首先定义 divergence 计算函数。我们使用教师 logits 和学生 logits 的 KL 散度。import torch import torch.nn.functional as F def compute_token_divergence(student_logits, teacher_logits): 计算学生与教师之间在当前 token 上的 KL 散度。 student_logits: [batch, vocab] teacher_logits: [batch, vocab] 返回: [batch] 的标量张量表示每个样本的发散度。 student_log_probs F.log_softmax(student_logits, dim-1) teacher_probs F.softmax(teacher_logits, dim-1) # KL(P_teacher || P_student) divergence F.kl_div( student_log_probs, teacher_probs, reductionnone, log_targetFalse, ).sum(dim-1) return divergence接着是自适应 horizon 调度器。这个调度器负责维护当前每个样本的监督范围长度。class AdaptiveHorizonScheduler: def __init__(self, min_horizon, max_horizon, high_threshold, low_threshold): self.min_horizon min_horizon self.max_horizon max_horizon self.high_threshold high_threshold self.low_threshold low_threshold def update(self, current_horizon, divergence): 根据 divergence 动态调整 horizon。 返回新的 supervision horizon。 if divergence self.high_threshold: # 发散度大缩短监督范围 new_horizon max(self.min_horizon, current_horizon - 1) elif divergence self.low_threshold: # 发散度小拉长监督范围 new_horizon min(self.max_horizon, current_horizon 1) else: new_horizon current_horizon return new_horizon这里使用的是离散步进式调节真实场景也可以改成连续平滑调节def update_continuous(self, current_horizon, divergence): beta torch.sigmoid((self.high_threshold - divergence) / self.temperature) new_horizon self.min_horizon (self.max_horizon - self.min_horizon) * beta return new_horizon然后组装一个简化版 DASH 训练器。这里用一个step()函数模拟一个 batch 的训练逻辑。class DASHTrainer: def __init__( self, student_model, teacher_model, tokenizer, optimizer, scheduler, min_horizon4, max_horizon16, ): self.student_model student_model self.teacher_model teacher_model self.tokenizer tokenizer self.optimizer optimizer self.scheduler scheduler self.min_horizon min_horizon self.max_horizon max_horizon def _teacher_supervision_loss(self, student_logits, teacher_logits): 教师 token 级监督让学生的输出分布拟合教师分布。 表面上是 KL 散度等价于用教师 soft label 做交叉熵。 student_log_probs F.log_softmax(student_logits, dim-1) teacher_probs F.softmax(teacher_logits, dim-1) return F.kl_div( student_log_probs, teacher_probs, reductionbatchmean, log_targetFalse, ) def train_step(self, prompt_batch, max_new_tokens64): 简化版 DASH 单步训练。 # 1. 让学生模型 rollout记录每一步的 logits student_outputs [] current_tokens prompt_batch with torch.no_grad(): teacher_tokens self.teacher_model.generate( prompt_batch, max_new_tokensmax_new_tokens, ) for step in range(max_new_tokens): student_logits self.student_model(current_tokens) teacher_logits self.teacher_model(current_tokens) student_outputs.append({ token: student_logits.argmax(dim-1), logits: student_logits, teacher_logits: teacher_logits, }) # 2. 计算 divergence 并动态调整 horizon divergence compute_token_divergence(student_logits, teacher_logits).mean() current_horizon self.scheduler.update( self.min_horizon, divergence ) # 3. horizon 内的步骤使用教师蒸馏损失 total_loss 0.0 if step current_horizon: teacher_loss self._teacher_supervision_loss( student_logits, teacher_logits ) total_loss teacher_loss # 4. horizon 之后的步骤由 RL 奖励来驱动这部分在后面说明 # 这里只演示教师蒸馏分支 current_tokens student_logits.argmax(dim-1) total_loss.backward() self.optimizer.step() self.optimizer.zero_grad() return { loss: total_loss.item(), divergence: divergence.item(), horizon: current_horizon, }需要说明真实 DASH 在 horizon 之后的 rollout 步骤通常用 reward 来构造策略梯度损失如 PPO/GRPO 的形式而不是简单跳过 loss。上面的实现只展示了“教师蒸馏”这一部分完整的强化学习组合会在下一节说明。4.3 与 RL 目标结合的完整 lossDASH 的最终训练目标可以理解成两部分的加权组合L L_supervised lambda * L_rl其中L_supervised在 supervision horizon 内教师对学生的 token 级监督损失。L_rl在 horizon 之后或整个轨迹尺度上由奖励信号驱动的策略优化损失。如果使用 GRPO 风格L_rl可以用同一 prompt 的多个采样结果计算组内相对优势def grpo_loss(student_log_probs, rewards, baseline_rewards, epsilon0.2): # rewards: [batch, seq_len] # student_log_probs: [batch, seq_len] advantage rewards - baseline_rewards # 简化版直接最大化带符号优势的 logprob loss -(student_log_probs * advantage).mean() return loss这里关键是不是所有 token 都参与 RL 优化。在 horizon 内部我们优先考虑教师监督在 horizon 外部我们优先按奖励优化。通过加权系数来平衡两者。5. 完整实战案例玩具模型上的 DASH 训练为了让你能实际跑一遍我在这里设计一个非常小的可运行示例。我们用一个小型 MLP 共享 embedding 的模型模拟一个简单的推理任务教师模型是规模更大一点的版本学生模型是缩小版。5.1 环境准备建议环境Python 3.10 PyTorch 2.0 Transformers 库可选用于真实 LLM tokenizer如果没有 GPU 环境纯 CPU 也能运行这个玩具示例因为模型足够小。5.2 构造玩具数据集这里用一个非常简化的“推理任务”给定两个数字模型需要输出两个数字之和但要求先输出一段“推理”再输出答案。实际场景中推理过程可能包含多步但这里只做一个演示。import random def build_toy_dataset(num_samples2000): dataset [] for _ in range(num_samples): a random.randint(1, 9) b random.randint(1, 9) result a b # 模拟 CoT 格式思考过程 最终答案 reasoning fthe sum of {a} and {b} is answer f{result} dataset.append({ prompt: fq:{a}{b}, reasoning: reasoning, answer: answer, full_text: fq:{a}{b}the sum of {a} and {b} is{result}, }) return dataset5.3 定义模型为了简化我们不使用完整 Transformer而是把 token 当成 limited vocab 的 one-hot 输入用一个两层的全连接网络学习一个序列中的模式。这样代码很容易在 CPU 上运行。import torch import torch.nn as nn class ToyReasoningModel(nn.Module): def __init__(self, vocab_size32, hidden_dim64): super().__init__() self.embedding nn.Embedding(vocab_size, hidden_dim) self.fc1 nn.Linear(hidden_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, vocab_size) def forward(self, input_ids): emb self.embedding(input_ids).mean(dim1) hidden torch.relu(self.fc1(emb)) logits self.fc2(hidden) return logits这里把整个序列的 embedding 取平均再映射到词表大小完全是为了快速演示 DASH 的监督调度逻辑。真实 LLM 中你需要用自回归 Transformer并且对每个 token 位置分别计算 logits。教师模型使用同样的类但 hidden_dim 更大teacher_model ToyReasoningModel(vocab_size32, hidden_dim128) student_model ToyReasoningModel(vocab_size32, hidden_dim64)5.4 实现 DASH 训练循环把前面的调度器和 loss 组合起来def tokenize_text(text, char_to_id, max_len16): ids [] for ch in text: if ch not in char_to_id: char_to_id[ch] len(char_to_id) ids.append(char_to_id[ch]) ids ids[:max_len] if len(ids) max_len: ids ids [char_to_id.get(pad, 0)] * (max_len - len(ids)) return torch.tensor(ids).unsqueeze(0) def train_dash_toy(): dataset build_toy_dataset() vocab set() for sample in dataset: vocab.update(sample[full_text]) vocab.add(pad) char_to_id {ch: idx for idx, ch in enumerate(vocab)} teacher_model ToyReasoningModel(vocab_sizelen(char_to_id), hidden_dim128) student_model ToyReasoningModel(vocab_sizelen(char_to_id), hidden_dim64) optimizer torch.optim.Adam(student_model.parameters(), lr1e-3) scheduler AdaptiveHorizonScheduler( min_horizon2, max_horizon6, high_threshold0.8, low_threshold0.3, ) teacher_model.eval() student_model.train() for step in range(100): sample random.choice(dataset) prompt_ids tokenize_text(sample[prompt], char_to_id) full_ids tokenize_text(sample[full_text], char_to_id) with torch.no_grad(): teacher_logits teacher_model(full_ids) student_logits student_model(full_ids) # 计算 divergence更新 horizon divergence compute_token_divergence(student_logits, teacher_logits).mean() horizon scheduler.update(current_horizonscheduler.min_horizon, divergencedivergence) # 监督 loss模拟 horizon 内单步监督 student_log_probs F.log_softmax(student_logits, dim-1) teacher_probs F.softmax(teacher_logits, dim-1) distill_loss F.kl_div( student_log_probs, teacher_probs, reductionbatchmean, ) # 玩具 RL loss用最终答案正确性作为稀疏奖励 pred_token student_logits.argmax(dim-1).item() target_token full_ids[0, -1].item() reward 1.0 if pred_token target_token else 0.0 baseline 0.5 # 简化为最大化超过基线的 logprob target_logprob student_log_probs[0, -1] rl_loss -(target_logprob * (reward - baseline)) total_loss distill_loss 0.1 * rl_loss optimizer.zero_grad() total_loss.backward() optimizer.step() if step % 20 0: print(fstep{step}, loss{total_loss.item():.4f}, fdivergence{divergence.item():.4f}, horizon{horizon}) print(train done)这个示例跑起来会看到loss在波动因为模型很小很难真正学习到加法规律。但它演示了 DASH 训练循环中几个核心组件如何协同教师蒸馏 loss、RL loss、divergence 计算、horizon 调度。5.5 运行结果说明在 CPU 上运行上述代码输出类似step0, loss3.6221, divergence1.0210, horizon2 step20, loss3.0143, divergence0.7934, horizon2 step40, loss2.8120, divergence0.6154, horizon4 step60, loss2.5388, divergence0.4920, horizon5 step80, loss2.4903, divergence0.4431, horizon6可以看到当 divergence 下降时horizon 逐渐变大这正是 DASH “发散度小 - 监督范围长”的体现。6. 常见问题与排查思路DASH 在真实 LLM 训练中会遇到不少工程问题。下面列出高频现象和排查思路。问题现象常见原因解决思路divergence 持续过高学生模型太小、教师模型太强或学习率过大导致策略跳变增大min_horizon先保证基础模仿调低 student 学习率divergence 持续过低学生模型已经完全复制教师分布可能缺少探索适当延长 horizon引入 RL 奖励项必要时增加温度采样horizon 始终不变threshold 设置不合理或 divergence 长期在阈值区间内检查 divergence 的分布调整high_threshold和low_threshold训练 loss 变 NaN可能 KL 中出现 log(0)或学习率过高对 logits 增加 epsilon对梯度做 clip学生模型复制教师但推理能力弱teacher forcing 过强学生只学到表面模式缩小max_horizon更早进入 RL 自由优化阶段显存不足同时前向学生和教师模型并且保存了完整轨迹 logits使用 gradient checkpointing教师模型前向时不保存梯度切片计算 divergenceRL 奖励长期为 0任务太难学生模型无法通过自由探索获得正确结果前期提高教师监督权重让 horizon 足够短成熟后再拉长更详细的排查思路如果divergence一直很高先确认教师模型是否被冻结以及学生和教师 tokenizer 是否一致。当训练曲线起伏剧烈时优先检查 reward 的 scale避免优势值过大把策略推远。通过 TensorBoard 记录每个 batch 的divergence和horizon正常情况下二者应该呈反向关系。如果使用的是 ReAct 风格的 action token不要把工具调用结果和普通文本 token 混在一起计算 divergence最好单独统计。7. 工程实践DASH 与训练基建建议7.1 数据采集与 Rollout 管理DASH 是 on-policy 方法这意味着每次参数更新后都应该丢弃旧的 rollout 数据。工程上建议维护一个固定大小的 rollout buffer每轮采样后立即用于训练。rollout 时使用当前策略但为了保留探索性可以加上温度采样或 top-p 采样。一个 batch 内最好包含不同的 prompt 和不同的采样温度让 diversity 更稳定。7.2 教师与学生的配置分工教师模型一般冻结参数只做前向推理。为了节省显存可以教师模型使用半精度或更低精度。教师模型和学生模型共用同一个 tokenizer。教师模型只在监督范围内计算 logits避免整条轨迹都保存教师状态。在 DASH 中我们并不是全轨迹都需要教师 logits。只有在 supervision horizon 范围内才需要教师对每一步输出分布做监督。所以训练时可以先由学生完整 rollout然后截取前horizon步计算教师 logits这样能显著减少计算开销。7.3 指标监控训练推理模型时至少需要监控以下几类指标- 训练 loss分为蒸馏 loss 和 RL loss 两部分。 - divergence学生与教师每步分布的 KL 散度。 - horizon当前 batch 的平均监督范围。 - 过采样成功率在验证集上相同温度下多次采样的正确率。 - 平均响应长度反映模型是否出现冗长但低效的推理。7.4 超参设置原则如果完全没有先验经验可以按下面的范围起步再根据训练曲线调整min_horizon: 4 到 16 max_horizon: 64 到 256 high_threshold: 0.5 到 1.0 low_threshold: 0.1 到 0.3 蒸馏损失和 RL 损失的权重比: 1:0.1 到 1:1需要注意这些参数高度依赖具体任务。数学推理任务中teacher forcing 过强会导致模型只会复制格式最终答案却算错而代码生成任务中reward 本身就包含编译和执行结果RL 权重可以适当调大。7.5 安全与生产注意任何涉及模型生成的推理内容可能包含有害信息或偏见需要在训练数据筛选阶段做好过滤。如果不小心使用了用户隐私数据作为强化学习轨迹会引发合规风险因此数据采集必须做脱敏。在更新生产环境模型前需要用小规模验证集确认正确率没有退化并保留可回滚的模型版本。8. 学习路线与后续方向DASH 这一定义其实是近几年推理模型训练研究中的一个缩影用更细致的监督策略缓解“模型自我生成轨迹”和“外部教师信号”之间的分布冲突。如果你想把这个方向吃透可以按下面的路线来学习先补强化学习基础理解 on-policy、off-policy最好能手动复现一个 Mini 版 PPO。再理解 RLHF 与 RLVR看明白为什么推理模型使用规则奖励比人工标注更稳定。尝试 GRPO 训练用一个小模型跑通 GRPO理解组内相对优势函数。实现一个简化版 DASH在 GRPO 基础上加入教师模型蒸馏和 divergence-adaptive horizon。扩展到 ReAct 风格模型把 action token 和观察结果纳入监督范围计算处理多轮工具调用。实际项目中最优先关注的仍然是训练稳定性。DASH 虽然动态调节监督范围但前提是发散度指标要算得准。如果教师模型和学生模型差距过大divergence 长期处于高位那么单纯缩短 horizon 并不能解决所有问题还需要从任务难度、数据清洗、奖励设计等角度协同优化。另一个值得注意的方向是蒸馏并不一定只发生在模型之间也可以是同一模型不同训练阶段之间的自我对齐。这种方式在推理模型的持续训练中尤其有价值。如果你已经跑通了基础 RL 训练不妨把 DASH 的“divergence-adaptive”思路迁移到自己的训练框架里。它不要求复杂的分布式基建核心只是多一套教师信号和一个动态调度逻辑但带来的稳定性提升往往非常明显。