0. TL;DR这篇论文做的是「用视频生成模型VGM做推理任务」这个新方向Reasoning with Video。核心问题是VGM 视觉质量很强但不擅长遵守任务规则、做逻辑推理之前的做法是让 VLM 当解题者VLM-as-Solver先用文字想出解法再让 VGM 生成但文字描述天然丢失时空细节VGM 也经常执行不到位。这篇论文把 VLM 的角色从解题者换成了“老师”TeacherVLM 不再负责想方案而是负责出题考核——针对每个具体任务自动生成几个过程是否合规目标是否达成的判断性问题把VLM 回答 Yes 的似然当作可微分的奖励反向传播梯度去在线优化一个轻量 LoRA 模块让 VGM 在测试时针对当前这一道题刷题到收敛再产出最终视频。实验显示这套方法在符号化推理榜VBVR-Bench和通用推理榜RULER-Bench上都大幅超过 Best-of-N 采样和 VLM-as-Solver 范式且测试时算力开销相当。1. Motivation论文的动机可以拆成三层递进的观察1.1 VGM 能做推理但天生有短板Reasoning with Video是一个新兴范式把视频生成当成一种推理手段让模型通过生成一段时序连贯的视频来完成走迷宫、解谜题等任务。在某些任务上VGM 甚至能匹敌依赖纯文本推理链的 SOTA VLM。但 VGM 的优化目标本质上是视觉真实感而不是逻辑正确性因此经常出现画面很好看但逻辑不对的轨迹——比如球穿墙了、物体形状变了但没人管。1.2 已有的补救方案都有明显短板论文梳理了两类已有的 test-time 方案并指出它们的瓶颈Best-of-N / 拒绝采样固定 VGM多采样几次选最好的。对随机性错误有效但对系统性错误如走错路径、漏掉子目标无效——因为模型的生成能力上限本身就框死了解空间采多少次都跳不出这个上限。VLM-as-Solver如 VideoTPO、CollabVR让 VLM 先用文字想方案或迭代修改 prompt再交给 VGM 生成。问题在于文字难以承载精细的时空约束比如沿直线移动到某个点这种空间细节即便方案在逻辑上是对的VGM 也经常执行不到位——论文称之为**“text-to-execution gap”**。1.3 关键洞察VLM 不擅长解题但很擅长判卷这是全文最核心的 insight即使一个 VLM 没办法规划出走迷宫的具体路径它依然可以轻松判断——球有没有走出迷宫球的轨迹有没有穿墙球本身有没有变形或消失这种**评判优于规划的能力差异催生了把 VLM 角色从 Solver 转变为Teacher的想法让 VLM 负责出考题 判卷由这个判卷结果产生的信号去直接驱动 VGM 在测试时自我修正**。2. Related Work论文的相关工作分了三条线正好对应它在文中强调的坐标系2.1 Reasoning with Video梳理了视频生成模型的发展脉络Sora、Veo、Seedance、CogVideoX、HunyuanVideo、Wan 等并指出尽管这些模型在视觉/物理真实感上不断进步但都没有专门针对基于规则的关系/因果/反事实推理做优化。由此催生了Thinking with Frames范式——把视频生成看作一种计算载体而非单纯的内容合成衍生出 Chain-of-FrameCoF类比 LLM 的 CoT、Chain-of-StepsCoS认为推理隐藏在去噪早期阶段等概念。各类 benchmark迷宫、数独类符号推理 RULER-Bench、FAR 类开放域推理也随之出现。2.2 Test-Time Scaling for Video Reasoning对应 LLM 领域的 test-time scaling如 repeated sampling视频领域也有树搜索、进化采样、自我精炼等扩展。论文特别区分了Test-Time Scaling (TTS)和Test-Time Optimization (TTO)两个概念TTS固定参数靠多采样/搜索找好结果TTO针对单个测试实例优化参数或变量本身。这篇论文选择走 TTO 路线是因为前面提到的系统性失败靠采样根本解决不了。2.3 Integrating VLMs for Video Reasoning回顾了 LLM/VLM 在图像、视频生成里充当符号规划器或问题解决者的工作如 VideoTPO 用 LLM 迭代精炼 promptCollabVR 用 VLM 当 progressive plannersolver。论文指出这些方法都还停留在文本中介层面没能解决 text-to-execution gap因此提出把 VLM 的角色从 Solver 转为 Teacher直接用可微分反馈作用于视觉执行层面而不是停留在 prompt 这一层。3. Method3.1 任务形式化一个推理实例由c (p, x)给出文本指令 可选条件图VGMG_θ生成视频v G_θ(c; ε)。任务成功的判定是Succ(v,c)I[g(v,c)1 ∧ ⋀m1Mrm(v,c)1] \text{Succ}(v, c) \mathbb{I}\Big[g(v,c)1 \;\wedge\; \bigwedge_{m1}^{M} r_m(v,c)1\Big]Succ(v,c)I[g(v,c)1∧m1⋀M​rm​(v,c)1]也就是最终目标达成g且“所有过程约束r_m全部满足”。这个形式化本身就为后面目标奖励 过程奖励的设计埋好了线。3.2 整体框架VLM-as-Teacher框架由两部分组成VLM Teacher出题判卷VGM Reasoner带一个可训练 LoRA 的视频生成器。(1) 任务自适应的监督合成Task-Adaptive Supervision SynthesisVLM 看到任务的文字指令和可选图像后自动生成一组二元判断式问题1 个目标达成问题q_goal(c)M 个通常 1~3 个过程约束问题q_proc^m(c)所有问题都被设计成正向表述Yes代表满足要求统一了不同任务类型下的奖励接口不需要为每类任务手写 reward function。论文特别强调这两类监督是互补的只看目标会放过抄近道式的违规中间过程只看过程又不能保证真的达成目标。(2) 在线优化过程把 VLM 的判断转成一个可微分目标由于所有问题的目标答案都固定是Yes可以直接用负对数似然作为损失形式上就是 SFT 风格的 NLL loss但优化对象不是 VLM 而是 VGM 的 LoRAVLM 全程冻结梯度穿过 VLM 反传到 LoRA 参数上LVQA(v~(n),q)−∑ℓ1Llog⁡Pψ(aℓ∣v~(n),q,aℓ) \mathcal{L}_{VQA}(\tilde v^{(n)}, q) -\sum_{\ell1}^{L}\log P_\psi\big(a_\ell^ \mid \tilde v^{(n)}, q, a_{\ell}^\big)LVQA​(v~(n),q)−ℓ1∑L​logPψ​(aℓ​∣v~(n),q,aℓ​)总损失把目标项和过程项按权重λ加权合并然后用梯度下降更新 LoRA 参数φϕn1ϕn−η∇ϕnLMulti-VQA(n) \phi_{n1} \phi_n - \eta \nabla_{\phi_n} \mathcal{L}^{(n)}_{Multi\text{-}VQA}ϕn1​ϕn​−η∇ϕn​​LMulti-VQA(n)​关键点这是**逐实例instance-specific**的在线优化——每来一个新样本LoRA 重新从零初始化、单独训练、用完即丢不是训练一个跨样本共享的通用模型。(3) 三个高效化设计否则算力开销太大轻量 VAE 替身解码器优化阶段用一个轻量级 surrogate decoder 代替标准 VAE 解码大幅降低反传开销牺牲一点画质最终出图时还是换回标准 VAE。步数蒸馏 只优化第一步预测把 VGM 蒸馏成 4 步生成器DMD2优化时只更新第一步的一步干净潜变量预测ẑ₀不需要走完整个多步去噪流程——依据是高层推理行为在去噪早期就已经显现。基于 loss 的早停当L_Multi-VQA ≤ τ_L就提前终止避免过度优化实验显示过度优化会让分数掉可能是过拟合到 VLM 的判断偏差上了。实现细节VGM Reasoner 用 step-distilled Wan2.2-5BVLM Teacher 用 Qwen3-VL-4BK24 帧采样、最大优化步数 N40实际平均约16步早停、LoRA rank16、学习率 5e-5、λ0.5、早停阈值 τ_L0.1约对应 VLM 0.8 的Yes置信度。4. Experiments4.1 数据集与对比对象VBVR-Bench符号化视觉推理abstraction / knowledge / perception / spatiality / transformation 五类有可验证的标注答案用规则检测器打分。RULER-Bench通用场景推理humanity / science / hypothesis / semantics / vision 五大类30个子任务用 GPT-o3 按 checklist 打分。对比方法闭源模型Sora 2、Kling 2.6、Veo 3.1、开源模型 Wan2.2 系列以及三类 test-time 策略PassN采样选优、PE/VideoTPOVLM-as-Solver 范式、本文方法。4.2 主要结果VBVR-Bench本文方法把 baselinestep-distilled Wan2.2-5B整体分数从 0.666 提升到0.7810.115ID/OOD 都有稳定增益。对比之下同等算力开销下 Pass5 只提升 0.017VideoTPO 反而掉了 0.032 分——论文解释是因为 VBVR-Bench 的 prompt 本身已经把规则写得很细再去精炼 prompt 边际收益很小而真正缺的是视觉执行的精度这恰好是本文方法的发力点。RULER-Benchbaseline 从 46.4 提升到68.221.8 分而 PE / VideoTPO / Pass5 分别只提升 1.9 / 3.9 / 2.7 分。更关键的是本文方法在全部 30 个任务类别上都有提升而 PE 和 VideoTPO 分别在 7 个和 4 个类别上是负收益。论文观察到一个很有意思的分布prompt 精炼类方法PE/VideoTPO在靠常识就能想明白的任务节日、医学、生活类上还有点用但在需要精确视觉执行的任务异常检测、颜色、计数、方向上提升有限甚至无效——而这恰恰是本文方法提升最大的地方。这个对比挺有说服力直接点出了文本中介方法的天花板在哪。4.3 消融实验信息量最大的部分(a) 在线优化步数从 0 步到 16 步分数从 0.666 单调升到 0.78116→20 步只多 0.002到 40 步反而掉到 0.778——说明存在过优化风险与 VLM 判卷的噪声/偏差被过度拟合有关。(b) Reward 设计变体Overall本文方法逐实例 TTO 可微分 reward0.781换成共享 post-training同样可微分 reward但训练一个共享模型而非逐实例0.688换成不可微分 rewardFlowGRPORL类方法0.681用固定通用问题代替任务自适应问题w/o Task-specific Reward0.712去掉过程监督w/o Process Reward0.758去掉目标监督w/o Final Reward0.692这组消融把逐实例 TTO、“任务自适应 reward 合成”、目标过程双重监督三个设计点的贡献都拆开验证了三者都不可或缺其中去掉目标监督的影响最大说明有没有达成目标是更硬的约束其次是换成共享 post-training说明逐实例优化确实是关键不是简单换个训练方式就能替代的。© 效率设计去掉步数蒸馏掉到 0.714换成全步优化4步全部反传反而比只优化第一步还低0.769 vs 0.781说明早期预测已经足够暴露推理行为不需要走完整个去噪过程采样帧数从24减到12掉到0.773增到48只多0.001——24帧是性价比最优点。(d) 跨 VLM Teacher / VGM Backbone 的泛化性换用 InternVL3-8B / Qwen3-VL-8B 作为 Teacher分数基本稳定在 68.1~69.2 之间且 Teacher 在 Video-MME 上的视频理解能力与最终 RULER-Bench 分数呈正相关R²0.733——即老师越强教得越好符合直觉。换 VGM backboneHunyuanVideo-1.5B也能从 35.8 提到 44.5证明方法不挑特定架构。(e) 失败案例分析人工标注了50个失败样本发现84% 是 VLM 感知错误看漏了细微的视觉瑕疵只有 16% 是 VLM 出的判断题本身就有问题比如理解错了任务要求。这说明当前方法的主要瓶颈在 VLM 的感知精度而不是整个框架的设计逻辑本身。5. Conclusion论文总结自己的贡献为三点提出 VLM-as-Teacher 这个新范式——VLM 从产出文本方案转变为测试时监督者提出一种测试时在线优化方法通过可微分 VLM reward 适配 VGM让推理能力突破模型本身固有的生成上限提出一种任务自适应的 reward 合成策略自动从任务描述里推导出目标过程两类奖励作为任务成功的充分条件。未来方向提高 reward query 本身的可靠性减少 VLM 出题/判卷的错误以及引入感知更精细的 VLM Teacher。6. 个人思考6.1 这篇论文最巧妙的地方我觉得最值得学习的不是用 VLM 当 reward这件事本身这个思路已经有不少前人工作在做而是两个组合拳把判卷问题设计成正向 Yes/No 二元问题统一了不同任务下奖励接口的形式省去了为每类任务手写规则化 reward function 的成本这个设计本身具备很强的可扩展性——只要 VLM 能看图说话就能自动生成。绕开 RL直接走可微分梯度很多人第一反应是VLM 给反馈 → 强化学习微调但 RL 在视频生成这种高维、低样本效率的场景里训练成本极高、方差极大。这篇论文巧妙地利用VLM 回答 Yes 的似然本身就是一个可求导的量把整个反馈链路变成端到端可微分绕开了采样-策略梯度的低效率问题。代价是要求 VLM 支持梯度反传即不能是黑盒 API需要能拿到 logits这也限制了它目前只能用开源 VLM 做 Teacher。6.2 “Test-Time Optimization” vs “传统 Post-Training” 的对比很有说服力消融表里那个对比0.781 vs 0.688其实回答了一个很本质的问题同样是用 VLM 当监督信号逐样本现场训练一个临时 LoRA为什么比训练一个共享的、跨样本通用的模型效果好得多我觉得背后的逻辑是视频推理任务的规则是高度 instance-specific 的每道题的目标和约束都不同共享参数的 post-training 本质上是在学一个平均化的策略容易在具体某道题上顾此失彼而逐实例优化等价于每道题单独开小灶针对性更强。这也呼应了 in-context learning / test-time adaptation 这条研究脉络里反复验证的结论当任务分布高度异构、规则差异很大时test-time 适应往往比一次性训练出的通用模型更有效。不过这也带来一个隐忧每个测试样本都要做16步左右的梯度优化 多次 VLM 前向/反向推理成本天然比传统一次前向出结果高很多虽然论文强调通过蒸馏和轻量解码把开销控制在了和 Best-of-N 相当的水平但这本质上是用训练时间换效果在实际部署、低延迟场景下可能不现实。6.3 瓶颈分析诚实但也暴露了天花板作者自己做的失败案例分析84% 是 VLM 感知错误其实是很诚实的一笔但也说明这套框架的天花板完全由 VLM Teacher 的感知能力决定——如果 VLM 看不出细节错误比如铅笔没完全变红、Raven’s matrix 该填几个钻石那再多的优化步数也无法纠正因为优化目标本身就是错的哄骗VLM 说 Yes而不是真的让任务做对。这其实是一种**“Goodhart’s Law式的风险**当优化目标变成让评判者满意而不是客观完成任务”一旦评判者本身有盲区优化过程就会忠实地把这个盲区也学进去甚至可能学会专门钻 VLM 感知的空子的捷径解论文图4里蜗牛那个例子其实已经隐约展示了这种风险——去掉过程监督后,模型找到了一个会被目标判定为成功但实际是作弊的捷径路径。6.4 可能的延伸方向如果 VLM Teacher 本身也能在线被低成本微调哪怕只是针对当前任务做几步适配是不是能缓解教师能力天花板的问题这套可微分 VQA reward LoRA 在线优化的框架理论上不该局限于视频生成图像生成、3D生成等任意VLM能判断好坏但不擅长直接生成正确答案的场景应该都能套用值得关注后续是否有人把这个思路迁移过去。论文里 reward 设计依赖 VLM 自动合成 query这一步的稳定性和可控性本身值得专门研究——比如能不能让多个 VLM 投票生成 query、或者加一道query 自检的环节来降低那 16% 的出题错误。