如何选对 num_speculative_tokensDFlash 在 vLLM 中的最优投机长度实战【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflashDFlash 是一个基于**块扩散Block Diffusion**的轻量级投机解码草稿模型能让大语言模型一次并行猜出一整块 token再用目标模型一步验证从而大幅加速推理。在 vLLM 中启用 DFlash 时num_speculative_tokens是最关键也最容易配错的参数——它决定了每轮投机解码猜测多少个 token。选小了浪费算力选大了拖慢速度。本文用 5 步带你找到最优投机长度。一、num_speculative_tokens 到底是什么 先建立一个直觉概念说明投机解码草稿模型先猜 N 个 token目标模型一次性验证猜对的部分全部保留num_speculative_tokens每轮猜测的 token 数 NDFlash 的差异草稿模型用块扩散方式并行生成整块 token而非逐个自回归猜测在 DFlash 的推理循环里草稿模型以block_size为粒度产出一整块候选 token目标模型验证后按接受长度前进——相关实现可参考dflash/model.py中的dflash_generate函数。二、先跑起来vLLM 一键启用 DFlashvLLM v0.20.1 已内置 DFlash 核心支持。先安装git clone https://gitcode.com/GitHub_Trending/df/dflash cd dflash uv pip install -e .[vllm]然后启动服务以 Qwen3.5-27B 为例vllm serve Qwen/Qwen3.5-27B \ --speculative-config {method: dflash, model: z-lab/Qwen3.5-27B-DFlash, num_speculative_tokens: 15} \ --attention-backend flash_attn \ --max-num-batched-tokens 32768 注意--max-num-batched-tokens 32768不能省否则批量验证长块时会受限。三、为什么越大越好是误区这是新手最常踩的坑。num_speculative_tokens存在一个倒 U 型曲线太小如 4每轮只猜 4 个 token验证次数变多解码加速比上不去太大如 32草稿模型在其训练块大小之外的预测质量会明显下降接受率骤降且 KV cache 显存占用上升反而更慢最优值通常就在草稿模型的训练块大小附近。 关键技巧看草稿模型名字里的b16例如z-lab/Qwen3-8B-DFlash-b16中的 16。DFlash 草稿模型是在固定块大小下训练的源码里也直接读取该配置self.block_size config.block_size。所以b16 模型 →num_speculative_tokens起步就选 15~16四、5 步定位最优值从基准测试到调参第 1 步测基线不加--speculative-config启动一次记录纯解码吞吐量tok/s。第 2 步按训练块大小启动 DFlashb16 模型先配num_speculative_tokens: 15README 官方示例也是 15。第 3 步跑官方基准测试项目自带 benchmark 工具一条命令对比基线与 DFlash 的吞吐python -m dflash.benchmark --backend vllm \ --base-url http://127.0.0.1:8000 --model Qwen/Qwen3.5-27B \ --dataset gsm8k --num-prompts 128 --concurrency 1第 4 步盯住Average Acceptance length输出中的Decoding speedup加速比和Average Acceptance length平均接受长度就是核心指标。平均接受长度越接近 N说明每轮猜测越命中如果明显偏小比如 N15 时平均只接受 6 个说明该任务下猜得偏多可以降 N。第 5 步小步扫描确认在 8 / 12 / 15 / 16 几个点各跑一次选加速比最高的值。多数场景下 15 附近就是峰值无需更细。五、不同场景的起始值速查表场景建议num_speculative_tokens说明通用默认15匹配 b16 训练块官方示例值显存紧张 / 高并发8 ~ 12降低单请求 KV cache 占用短回复、低延迟优先8减少单轮草稿开销长文本生成、数学/代码推理15 ~ 16接受率高的任务收益最大 补充若使用 SGLang 后端对应参数是--speculative-num-draft-tokens 16取值逻辑相同。六、避坑清单 ⚠️超过训练块大小不要为了更快设到 24超出 b16 的接受率会显著下滑Qwen3-4B / Qwen3-8B 草稿模型未用思考轨迹训练不要开启 thinking 模式benchmark 中会直接断言拦截Gemma4 模型需要专门的构建环境且示例中额外指定了attention_backend: flash_attn调参顺序先保证能跑通检查 attention backend 与 batch 配置再动num_speculative_tokens。结语记住一句话就够了num_speculative_tokens从草稿模型的训练块大小起步b16 → 15用官方 benchmark 看平均接受长度在 ±4 范围内扫描确认。DFlash 的块扩散机制让你一次验证一整块 token把这个参数调对推理加速比自然会来到峰值。【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflash创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考