1. 问题现象大模型推理中的幽灵波动在本地部署的大模型推理过程中我发现一个反直觉的现象即使将温度参数temperature设置为0即完全禁用随机采样使用相同的输入样本多次调用模型时输出结果竟然会出现不一致。这种波动在以下两种场景中表现尤为明显单样本独立推理场景当batch size1时如果严格采用串行方式即完成一条请求后再处理下一条多次推理结果完全一致。例如使用Qwen3-VL模型描述同一张图片前100个token的输出能够保持稳定。批量推理场景当batch size1时即使温度0同一输入样本在不同批次的推理结果可能出现显著差异。以Qwen3-VL为例在批量处理时虽然前100个token可能一致但后续token会出现明显分歧。更令人惊讶的是仅改变batch size或GPU配置就可能导致输出准确率波动高达9%响应长度差异可达9,000个token。这种现象在学术文献和工程实践中已被多次验证。例如《Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference》论文中明确指出模型输出会因批次配置变化而产生不可忽视的差异。这引发了一个根本性问题在确定性参数配置下大模型的输出本应完全一致为何会出现这种幽灵波动2. 常见误解与谣言辨析关于这个现象技术社区流传着几种解释但经深入验证后发现多数存在谬误2.1 浮点运算不满足结合律流行观点由于浮点数运算不满足结合律(ab)c ≠ a(bc)而GPU多线程并发导致运算顺序不同从而引发结果差异。验证实验# 浮点运算顺序敏感性示例 print((0.1 1e20) - 1e20) # 输出: 0.0 print(0.1 (1e20 - 1e20)) # 输出: 0.1当对一组包含正负数的浮点值如[1e-10, 1e-5, 1e-2, 1, -1e-10,...]进行求和时不同排列顺序确实会产生102种不同的结果测试10,000次随机排列后。关键局限现代LLM的前向传播极少使用会导致顺序敏感的原子加atomic add操作主要归约操作如矩阵乘法、softmax通常采用确定性的并行策略该理论无法解释为何batch size变化会影响单样本输出2.2 KV缓存存在bug社区讨论 HuggingFace开发者曾怀疑是KV缓存机制缺陷导致GitHub issue #25420。但后续测试表明即使禁用KV缓存batch size差异仍会导致输出变化。决定性证据import torch torch.set_default_device(cuda) B, D 2048, 4096 a torch.linspace(-1000, 1000, B*D).reshape(B, D) b torch.linspace(-1000, 1000, D*D).reshape(D, D) # 两种计算方式数学等价但结果不同 out1 torch.mm(a[:1], b) # batch size1 out2 torch.mm(a, b)[:1] # batch size2048 print((out1 - out2).abs().max()) # 输出: tensor(1669.2500)这个实验证明矩阵乘法内核的选择会随batch size变化导致浮点误差累积路径不同。3. 根本原因批不变性缺失3.1 批不变性Batch Invariance定义一个具备批不变性的模型应当满足 $$ f(x_i; θ) f([x_i, x_j, ..., x_k]; θ)[i] $$ 即单个样本的输出不应受批次中其他样本的影响。然而当前LLM的三大核心操作均违反该原则操作类型归约维度非确定性来源RMSNorm特征维度并行策略随hidden_dim变化MatMulK维度split-k策略启用条件不同AttentionKV长度分块策略依赖序列长度3.2 数值不稳定的产生机制以矩阵乘法为例现代GPU会根据输入形状动态选择计算内核大batch场景当Mbatch size足够大时采用每个SM处理独立tile的策略# 伪代码示意 for i in parallel_over_M: for j in parallel_over_N: C[i,j] sum_k(A[i,k] * B[k,j]) # 完整归约在单个SM内完成小batch场景当M较小时为提升GPU利用率会启用split-k策略# 伪代码示意 for k_chunk in split_K_dimension: # 拆分K维度 partial matmul(A[:,k_chunk], B[k_chunk,:]) # 部分结果 atomicAdd(C, partial) # 非确定性累加这种优化虽然提升计算效率但导致归约顺序随batch size变化破坏数值确定性。4. 确定性推理的工程实现4.1 RMSNorm的确定性改造原始实现def rms_norm(x, weight): return x * torch.rsqrt(torch.mean(x**2, dim-1, keepdimTrue)) * weight改进方案固定归约粒度无论hidden_dim大小始终采用相同数量的线程块如每128元素一个块禁用动态策略避免根据输入尺寸自动选择warp-level/block-level归约性能权衡小batch时可能损失15-20%吞吐量4.2 矩阵乘法的确定性策略关键修改点强制禁用split-k即使小batch也使用完整归约内核统一tile形状始终采用128x128的固定分块精度保障中间结果使用FP32累加# 修改后的矩阵乘法配置 torch.backends.cuda.matmul.allow_tf32 False # 禁用TensorFloat-32 torch.backends.cudnn.deterministic True # 启用确定性算法4.3 Attention层的稳定化设计最复杂的改造环节需要处理KV缓存与新增token的混合计算动态序列长度下的分块策略多头注意力的并行调度解决方案def deterministic_attention(q, k, v): # 固定分块大小如256 tokens chunk_size 256 num_chunks (seq_len chunk_size - 1) // chunk_size # 统一处理逻辑 for chunk_idx in range(num_chunks): start chunk_idx * chunk_size end min(start chunk_size, seq_len) chunk_k k[:, start:end] chunk_v v[:, start:end] # 使用相同计算路径 attn_weights q chunk_k.transpose(-2, -1) attn_weights softmax(attn_weights, dim-1) partial_output attn_weights chunk_v # 固定精度累加 if chunk_idx 0: output partial_output else: output partial_output # 确定性的累加顺序 return output5. 实际影响与应对策略5.1 推理延迟的变化在Thinking Machines Lab的实验中确定性改造带来的性能影响操作类型原始延迟(ms)确定性延迟(ms)增长幅度RMSNorm1.21.525%MatMul4.85.719%Attention6.39.144%注当前性能损失主要来自未优化的确定性内核通过定制CUDA内核有望降低额外开销。5.2 对强化学习的影响在RLHF训练中非确定性推理会导致严重问题策略偏移Policy Drift假设采样阶段sampling和训练阶段training使用相同模型参数但由于batch size不同导致实际输出分布差异相当于在用旧策略数据训练新策略。实验验证蓝色曲线普通训练无重要性采样橙色曲线确定性推理训练 可见确定性推理能保持KL散度严格为0训练稳定性显著提升。5.3 安全启示这种非确定性可能被恶意利用后门攻击攻击者可以精心设计输入使得不同batch size下模型输出完全不同如正常/恶意结果切换编译级攻击通过操纵编译器优化策略如改变循环展开因子诱导模型产生错误输出防御建议生产环境启用torch.use_deterministic_algorithms(True)对安全关键应用进行多batch size交叉验证使用FP32或混合精度激活值FP32降低数值误差6. 工程实践建议根据实际部署经验推荐以下配置PyTorch确定性设置torch.backends.cudnn.benchmark False torch.backends.cudnn.deterministic True torch.use_deterministic_algorithms(True, warn_onlyTrue)自定义确定性内核# 编译TML的确定性操作库 git clone https://github.com/thinking-machines-lab/batch_invariant_ops cd batch_invariant_ops pip install -v .监控与验证def check_batch_invariance(model, input_sample, trials10): 验证模型是否满足批不变性 ref_output model.generate([input_sample], temperature0) variations 0 for _ in range(trials): # 随机生成干扰样本 noise_batch torch.randn(8, *input_sample.shape[1:]).to(input_sample) test_batch torch.cat([input_sample.unsqueeze(0), noise_batch]) current_output model.generate(test_batch, temperature0)[0] if not torch.allclose(ref_output, current_output, atol1e-5): variations 1 print(f批不变性违反率: {variations/trials*100:.1f}%)在实际部署中发现即使进行了完整改造当使用非常长的序列8k tokens时仍可能因内存交换导致微小差异。这时需要在性能与确定性之间做出权衡——对于大多数应用场景保证前500个token的确定性通常已足够。