Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

发布时间:2026/7/16 23:55:14
Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding 📄 文章主要内容和创新点一、文章核心问题大语言模型(LLM)的标准自回归解码(autoregressive decoding)本质上是顺序执行的,导致现代GPU的大规模并行能力无法充分利用,推理延迟高。推测解码(Speculative Decoding)通过草稿模型(draft model)先快速生成多个候选token,再由目标模型(target model)一次性并行验证,从而减少目标模型的调用次数。然而,实际加速效果受限于草稿质量与草稿成本之间的权衡:自回归草稿器(如EAGLE系列):能很好地建模因果依赖关系,草稿质量高(接受长度长),但需要顺序生成每个token,成本随草稿长度线性增长。并行草稿器(如DFlash):一次前向传播生成整个token块,成本低,但弱化了块内因果依赖建模,草稿质量下降。二、Domino框架核心创新🎯 创新点1:因果依赖建模与自回归执行解耦Domino将因果依赖建模从昂贵的自回归草稿执行中分离开来。具体而言,Domino首先使用一个并行草稿骨架(parallel draft backbone)一次性生成整个token块的初步分布,然后通过一个轻量级的Domino头(Domino head)注入前缀依赖的因果信息进行精炼。Domino头的设计