**摘要**交互式世界模型作为生成式系统的前沿方向正在重塑游戏生成与具身智能仿真的技术范式。本文介绍 LingBot-World 2.0亦称 LingBot-World-Infinity的技术架构与核心创新。该模型通过因果预训练范式实现无界交互时域下的质量稳定性借助蒸馏策略达成 720p 分辨率与 60fps 的实时生成能力并引入包含战斗、射箭、施法、射击在内的多样化交互动作与文本驱动事件。此外研究团队首次将智能体框架Agentic Harness引入世界模型领域通过导演智能体与飞行员智能体的协同机制实现无需人工脚本编排的自主世界演化。相关模型与工具链已全面开源。一、从秒级到小时级世界模型的稳定性跃迁近年来交互式世界模型Interactive World Models作为能够逐帧合成环境并响应用户或智能体动作输入的生成系统已逐渐成为游戏生成与具身智能仿真的重要技术基底。得益于因果式自回归视频生成技术的持续突破这类模型在理论上可以渲染出一个无限延展、实时响应的可探索世界。然而将这一理论愿景转化为可用系统仍面临两大核心挑战。第一长时程稳定性。由于每一帧的生成都依赖于此前已生成的帧误差会不断反馈至模型并累积导致纹理模糊、几何畸变、场景逐渐偏离合理世界。现有多数系统通常仅能在数秒到数分钟内保持视觉稳定距离可居住世界的持久性要求相去甚远。第二高保真交互的实时性。在渲染细节视频的同时响应实时输入对计算资源提出了极高要求。此前工作往往以牺牲分辨率、流畅度或可控性为代价换取交互性用户最终获得的体验仅限于在近乎静态的场景中进行粗略的相机移动。研究团队认为上述两大局限正是当前模型与真正开放式世界之间的关键壁垒。LingBot-World-Infinity 的设计直接针对这两个问题展开。其核心思路是首先训练一个能够抵抗误差累积的因果视频生成骨干网络该骨干网络在质量保持方面显著优于现有开源模型并作为蒸馏阶段的优质教师模型随后通过蒸馏得到的学生模型使系统具备实用价值——它能够在足够高的分辨率与帧率下维持一个永无止境的可探索世界。研究团队通过一次长达一小时的不间断生成会话对该主张进行了压力测试结果表明模型质量未出现可见衰减证明其稳定性是结构性特征而非仅存在于特定片段中的短暂现象。图1LingBot-World-Infinity 生成涵盖古代遗迹、沙漠滑行、魔法战斗、未来都市、太空探索等无限世界支持多样化实时交互。二、四大技术升级从骨干网络到实时部署相较于前代版本LingBot-World-Infinity 实现了四个维度的显著升级。论文明确指出这些升级共同构成了当前开源世界模型的能力新边界。无界交互时域通过精心设计的因果预训练范式模型在保持输出质量一致性的前提下实现了理论上无限长的交互时长。实时响应能力从基础模型中蒸馏出实时变体系统响应速度足以驱动 720p 视频流以 60fps 流畅运行。多样化交互元素动作空间从基础导航扩展至攻击、射箭、施法、射击等丰富类型同时支持更多文本驱动事件。智能体框架集成首创性地将智能体框架引入世界模型领域导演智能体负责合成新环境元素飞行员智能体规划并执行角色行为。在模型规模方面研究团队提供了 14B 参数的主模型与 1.3B 参数的轻量模型两种选择。后者支持在单张 GPU 上轻松部署显著降低了研究者和开发者的使用门槛。论文同时公布了项目网站、GitHub 仓库与 HuggingFace 模型权重形成了从训练到部署的完整开源链路。三、数据引擎多源异构数据的精细化治理高质量数据是训练交互式世界模型的基石。为了构建一个能够响应时变指令与控制信号的统一数据集研究团队设计了一套包含数据获取、数据画像与多维标注三个阶段的数据引擎。在数据获取阶段语料库由三个互补来源整合而成自采集的第一人称视角视频、来自游戏与虚幻引擎环境的合成数据以及大规模网络视频。第一人称视频捕捉真实世界中的自然手部与物体交互行为合成数据提供精确的场景几何与时间上对齐的交互信号如跳跃、攻击、驾驶、飞行这些信号在野外视频中难以可靠恢复但对学习可控状态转移至关重要网络视频则提供可扩展的开放域覆盖使模型接触到长尾视觉概念。数据画像阶段采用技术过滤与视觉语言模型VLM画像相结合的策略。首先通过解码验证、镜头边界检测TransNet V2、基础约束筛选时长、分辨率、解码稳定性剔除明显不合格的片段。随后技术评分从视觉质量、亮度范围、OCR 文本占用率、运动统计与编码稳定性等维度进行综合评估。通过画像保留的候选片段进一步经由 VLM 进行语义画像产出质量属性编辑伪影、视觉证据模糊度与语义属性视角、活动类别、交互模式两组标签为后续的数据平衡与提示路由提供依据。图2LingBot-World-Infinity 整体架构。系统从初始图像与背景描述初始化基于历史上下文与用户输入相机位姿与提示词自回归生成未来世界状态。四、因果世界模型MoBA 注意力与流匹配训练研究团队将世界模拟形式化为沿时间轴的因果生成过程。根据休谟因果律——“原因必须先于结果”——每一时刻的视觉状态仅依赖于历史视觉观测与当前用户输入。具体地设视频帧序列为m a t h c a l V x _ 1 , x _ 2 , l d o t s , x _ T \\mathcal{V}\\{x\_1, x\_2, \\ldots, x\_T\\}mathcalVx_1,x_2,ldots,x_T用户输入序列为m a t h c a l A a _ 1 , a _ 2 , l d o t s , a _ T \\mathcal{A}\\{a\_1, a\_2, \\ldots, a\_T\\}mathcalAa_1,a_2,ldots,a_T则在因果假设下联合概率可分解为p _ t h e t a ( x _ 1 : T m i d a _ 1 : T ) p r o d _ t p _ t h e t a ( x _ t m i d x _ t , a _ l e q t ) p\_\\theta(x\_{1:T} \\mid a\_{1:T}) \\prod\_t p\_\\theta(x\_t \\mid x\_{t}, a\_{\\leq t})p_theta(x_1:Tmida_1:T)prod_tp_theta(x_tmidx_t,a_leqt)其中t h e t a \\thetatheta参数化世界转移与动态。模型通过在大规模视频数据上最大化该因果似然进行学习。4.1 双向与自回归混合注意力MoBA在预训练阶段模型需要同时兼顾自回归生成的因果约束与视觉保真度。纯教师强制Teacher Forcing掩码下模型预测当前状态时仅访问自身与历史干净上下文。然而研究团队发现随着上下文增长模型倾向于过度依赖历史而非预测未来帧导致过拟合与视觉质量下降。为此论文提出双向与自回归混合注意力掩码Mixture of Bidirectional and Autoregressive Attention Mask, MoBA。该机制在教师强制掩码的基础上追加一个双向全注意力组件。自注意力 MoBA 掩码从教师强制开始每个噪声帧仅关注自身及其干净上下文随后集成的双向组件掩码右下角的完整块使模型能够适应灵活长度的视频生成并促进从双向到自回归生成的过渡。双向组件同时充当正则化器缓解纯教师强制的过拟合问题避免视觉质量退化。对应的交叉注意力掩码也做了匹配设计对于教师强制组件每帧关注背景提示与当前及所有先前片段的块级提示以低三角模式防止未来语义泄漏对于双向组件则使用描述整个视频所有事件的全局提示遵循标准实践。4.2 动作表示与训练目标在 LingBot-World-Infinity 中动作包含两种用户输入形式相机位姿与文本提示。对于相机控制研究采用 Plücker 嵌入表示每个像素的观测射线通过自适应层归一化AdaLN机制将控制信号融入扩散过程避免破坏预训练视觉先验。对于文本控制采用块级提示实现自回归视频生成每个视频片段分配独立标题实现时间局部化的语义控制。训练方面模型采用条件流匹配目标。对于每帧i ii构造噪声潜在变量x _ i t ( 1 − t ) x _ i t e p s i l o n x\_i^t (1-t)x\_i t\\epsilonx_it(1−t)x_itepsilon其中t s i m U ( 0 , 1 ) t \\sim U(0,1)tsimU(0,1)e p s i l o n s i m m a t h c a l N ( 0 , m a t h b f I ) \\epsilon \\sim \\mathcal{N}(0, \\mathbf{I})epsilonsimmathcalN(0,mathbfI)并训练网络v _ t h e t a v\_\\thetav_theta预测流速度m a t h c a l L _ t e x t f m m a t h b b E _ x , i , t , e p s i l o n ∣ v _ t h e t a ( x _ i t , t m i d x _ i , p _ l e q i , a _ l e q i ) − ( e p s i l o n − x _ i ) ∣ 2 \\mathcal{L}\_{\\text{fm}} \\mathbb{E}\_{x,i,t,\\epsilon} \\| v\_\\theta(x\_i^t, t \\mid x\_{i}, p\_{\\leq i}, a\_{\\leq i}) - (\\epsilon - x\_i) \\|^2mathcalL_textfmmathbbE_x,i,t,epsilon∣v_theta(x_it,tmidx_i,p_leqi,a_leqi)−(epsilon−x_i)∣2目标速度遵循整流流插值条件变量包括历史干净上下文、相机位姿与提示词。五、后训练蒸馏从多步到少步的实时化预训练教师模型虽然能够生成高质量帧但每帧需要多步去噪计算开销对于交互式应用而言过于昂贵。后训练阶段的核心任务是将多步因果扩散世界模型压缩为适合实时交互的少步生成器同时缓解长时自回归展开中的误差累积。5.1 一致性蒸馏研究团队将教师模型蒸馏为一致性模型G _ t h e t a G\_\\thetaG_theta该模型从中间噪声潜在变量预测轨迹不变的目标。具体而言位于同一教师概率流 ODEPF-ODE轨迹上的潜在状态在G _ t h e t a G\_\\thetaG_theta下应映射到相同预测。设x _ i t x\_i^tx_it为帧i ii在扩散时间t tt的潜在状态t i l d e x _ i t − D e l t a t \\tilde{x}\_i^{t-\\Delta t}tildex_it−Deltat为通过教师 PF-ODE 从( x _ i t , t ) (x\_i^t, t)(x_it,t)积分到t − D e l t a t t-\\Delta tt−Deltat得到的潜在状态则在因果条件c ( x _ i , p _ l e q i , a _ l e q i ) c(x\_{i}, p\_{\\leq i}, a\_{\\leq i})c(x_i,p_leqi,a_leqi)下最小化相邻轨迹点之间的局部一致性损失KaTeX parse error: Undefined control sequence: \[ at position 47: …mathbb{E} \\big\̲[̲ d\\big(G\_\\th…其中d ( c d o t , c d o t ) d(\\cdot,\\cdot)d(cdot,cdot)为距离度量t h e t a − \\theta^-theta−表示学生参数t h e t a \\thetatheta的指数移动平均。优化该目标将教师的多步去噪轨迹蒸馏为少步学生生成器同时保留预训练阶段习得的动作条件动态。5.2 分布匹配蒸馏一致性蒸馏虽大幅降低采样成本但得到的少步学生生成器仍可能在视觉保真度与长时自展开中面临退化与漂移累积。为进一步精炼学生模型研究采用分布匹配蒸馏DMD通过优化噪声学生分布与噪声数据分布之间 KL 散度的梯度进行训练。设h a t x _ i \\hat{x}\_ihatx_i为学生生成样本h a t x _ i t \\hat{x}\_i^thatx_it为其前向扩散至时间t tt的噪声版本则目标梯度为KaTeX parse error: Undefined control sequence: \[ at position 34: …\mathbb{E}\\big\̲[̲D\_{\\text{KL}}…其中s _ t e x t r e a l s\_{\\text{real}}s_textreal与s _ t e x t f a k e s\_{\\text{fake}}s_textfake分别近似噪声数据分布与当前噪声学生分布的得分函数。为提高部署时动态下的鲁棒性DMD 在长自展开轨迹上而非仅在教师强制状态上应用使学生在其自身预测诱导的状态分布上得到优化从而减少扩展自回归展开中的累积漂移。六、Agentic 交互框架导演与飞行员的协同尽管标准视频生成模型擅长合成短期视觉动态但其本质上缺乏开放式、逻辑化世界模拟所需的因果推理能力。为弥合被动视频生成与交互式世界建模之间的鸿沟研究团队提出了导演-飞行员协同仿真框架Director-Pilot Co-Simulation Framework。图3Agentic 交互框架概览。用户可通过语义交互或对象交互两种模式参与世界演化VLM导演负责场景分析与事件提案视频生成器飞行员将语义决策转化为物理一致的视频展开。在这一架构中视觉语言模型VLM担任世界的导演负责宏观语义规则与因果推理底层视频生成器扩散 Transformer充当飞行员负责模拟底层物理动态并渲染高保真视觉过渡。VLM 持续分析当前视觉现象预判用户交互的逻辑后果并制定明确的事件提案。这些提案随后输入视频模型由后者将语义指令转化为连贯的时空展开。6.1 两种交互模式为适应不同粒度的交互需求框架设计了两种交互模式。模式 A 为直接语义交互VLM 直接分析当前帧为主体如用户化身生成动态事件卡片。当用户触发交互时VLM 评估场景上下文并即时提出逻辑后果无需显式对象掩码即可实现与环境的无缝整体交互。模式 B 为追踪辅助对象交互针对精确的对象中心操作系统集成基于 SAMSegment Anything Model的动作提案循环。VLM 识别场景中的特定交互元素如非人形物体并分配针对性动作提案SAM 在视频片段间持续追踪这些对象以保持空间一致性。用户可选择追踪对象并触发特定动作如按住切换机制VLM 随后推断被追踪对象的状态变化将更新后的语义条件传递给视频模型执行精确动态。6.2 世界干预能力除物理交互外框架允许用户以创造者身份通过文本提示直接干预世界状态。用户可提出任意事件以改变模拟轨迹VLM 智能体处理这些干预以确保其被逻辑地整合到持续叙事中。该能力支持全局状态转移如昼夜更替、天气变化、全局事件与局部实体注入如召唤鸟群或特定生物。VLM 确定这些实体最合理的空间与时间切入点视频模型则将其无缝渲染到现有物理空间中。七、系统部署实时性与用户体验实现实时交互视频生成需要在低延迟、丰富交互能力、高视觉质量与友好界面之间取得平衡。研究团队围绕四个维度构建了推理栈系统级优化、智能体交互框架、视觉质量增强与用户界面设计。7.1 系统级优化在模型推理效率方面研究团队对蒸馏后的 DiT 骨干应用了编译器优化与高效注意力核降低运行时开销并加速迭代去噪过程。进一步采用混合并行推理策略在多个 GPU 间分配计算并保持高效通信实现对长视频序列的可扩展推理。为避免下游瓶颈潜在变量生成与帧重建被异步流水线化潜在生成无需等待图像解码完成VAE 解码在专用工作线程上并行执行从而提升硬件利用率并缩短视频生成的关键路径。在流式响应方面系统不再等待整个视频片段解码完成而是增量式地流式传输解码结果使解码、传输与后续生成能够重叠执行。此外高效的视频流传输管道将延迟降至最低缩短了从用户输入到首帧可见的响应时间。7.2 动态 KV 缓存管理实时系统的关键组件之一是动态 KV 缓存调度机制。系统并非为每个推理片段维持固定上下文而是根据当前控制信号与输入状态自适应调整缓存。通过将缓存条件化于该上下文系统保留对当前片段最具信息量的历史记录同时丢弃贡献较小的条目。这种选择性调度带来双重收益一是减少模型必须关注的有效上下文加速推理并维持实时吞吐量二是通过聚焦最相关的历史信息抑制陈旧或无关内容的干扰提升生成帧的质量与连贯性。7.3 用户界面设计交互界面围绕三个区域组织。中央区域为实时生成视口世界在此实时渲染并立即响应用户输入。底部面板提供低层控制方案WASD 键控制移动IJKL 键控制视角使相机导航对熟悉标准游戏控制的用户而言直观自然。右侧面板为智能体控制界面列出由导演VLM生成的事件提案每个提案绑定一个热键。图4系统交互界面。中央为实时生成视口底部为 WASD/IJKL 控制面板右侧为 VLM 生成的事件提案列表支持固定动作键与上下文感知动作键。事件热键分为三组固定键如空格触发跳跃、P 触发滑翔始终可用VLM 持续根据当前场景提出上下文感知事件角色动作绑定 U 和 O如近战与远程动作环境变化绑定 F 和 G如巨鲸掠过或黄昏降临数字键1、2、3……为用户自定义事件槽用户可注册任意希望看到的事件直接参与世界演化。在图中所示示例中可控主体为翱翔于云海之上的雄鹰用户在数字键 1 至 3 上注册了俯冲、暴风雨与急转弯等事件。八、实验验证一小时不间断生成的稳定性研究团队从两个维度对模型进行评估面向交互部署的实时因果蒸馏模型以及作为蒸馏教师的基础因果预训练模型。8.1 与现有工作的对比在实时蒸馏模型的对比中研究团队将其与最先进的闭源系统 HappyOyster、Genie 3以及领先的开源交互世界模型进行了基准测试。评估维度涵盖视觉保真度、长展开时序稳定性、动作响应性与实时吞吐量。论文结果表明该模型在视觉质量上与最强闭源基线相当或更优同时保持完全开源并且它是比较范围内唯一能够在实时条件下维持高分辨率生成而不出现可见退化的系统。此外模型支持更为丰富的交互类型。图5与现有方法的定性对比。在灭火器场景与摩托艇场景中LingBot-World 2.0 在 60 秒长展开中保持了纹理清晰、几何稳定与物理一致而部分基线在 15 至 25 秒时已出现明显退化。8.2 长时程稳定性压力测试为探查模型在长时展开中的极限研究团队生成了一次超过一小时的单一不间断会话从该会话中采样了 20 个不同场景的帧。如图 6 所示时间线覆盖从竹林运河到地球视窗的丰富场景模型在整个运行过程中视觉质量未出现可感知衰减世界从开始到结束保持连贯且可探索。这证实了模型的稳定性是结构性属性而非仅在有利片段上观察到的短暂效应。图6一小时世界展开时间线。从竹林运河出发历经运河小镇、交通流、石拱廊、夜城、苔藓遗迹、悬崖神殿、花园池塘、锅炉房、宫殿小径、蓝色档案室、温室、雪码头、船厂甲板、轨道视图、日光缝隙、灯笼池、花庭、月庭最终抵达地球视窗。20 个场景结构连贯、视觉质量稳定。8.3 预训练骨干的对比优势在因果预训练骨干的评估中研究团队在匹配设置下将其与先前的因果世界模型进行对比重点关注视觉保真度与长时程稳定性。结果表明该骨干网络在视觉质量与稳定性上均持续优于竞争模型。虽然先前的因果模型在数秒到数分钟内因误差累积而退化但该模型在显著更长的展开中仍保持纹理锐利、几何稳定与场景连贯。研究团队将这一优势归因于抗漂移训练该训练明确阻止模型在自身预测上累积误差。九、局限性与未来方向论文在结论部分坦诚讨论了当前模型存在的若干局限并指出了值得进一步探索的方向。首先是长期记忆问题。尽管模型在长时程上保持视觉稳定但它并未真正记住已生成的世界当某个区域离开上下文窗口后再次访问时往往会被重新生成而非被回忆。因此世界在外观上是持久的但在身份上并非持久。研究团队正在探索动态 KV 缓存调度等机制以保留更大且更相关的历史但这面临内存成本随视界增长而可用预算有限的固有张力。赋予交互式世界模型真正的紧凑型长期记忆仍是一个开放问题。其次是身份与风格一致性。在极长展开中特定角色的外观可能微妙变化整体艺术风格也可能逐渐漂移即使场景整体保持连贯。第三是物理理解的局限。模型纯粹从像素中学习动态缺乏显式的几何或碰撞概念因此对底层物理的把握并不完美偶尔会出现角色或物体相互穿插而非碰撞的物理不合理现象。赋予模型更忠实的物理交互感知是未来工作的重要方向。最后尽管蒸馏模型已能实时运行但仍需要相当的计算资源。在消费级硬件上实现实时高保真世界建模需要效率方面的进一步提升研究团队视其为未来的重要发展方向。十、结语LingBot-World-Infinity 代表了开源交互世界模型的重要进展。它通过因果预训练与抗漂移设计实现了在小时级别仍保持视觉稳定的连续生成通过一致性蒸馏与分布匹配蒸馏将高质量生成压缩至 720p/60fps 的实时交互标准通过导演-飞行员智能体框架将被动视频生成器转化为自维持、目标导向且开放式的可探索世界通过多样化的动作空间与文本驱动事件使用户能够真正参与世界演化而非仅仅穿行于静态景观。该研究已全面开源模型权重、代码与交互界面为学术界与产业界提供了可复现、可扩展、可部署的开放世界模型基座。随着长期记忆、物理一致性与边缘部署效率等方向的持续突破交互式世界模型有望在游戏生成、具身智能仿真与虚拟环境构建等领域释放更大潜力。本文基于论文《Infinite Worlds with Versatile Interactions》arXiv:2607.07534v1整理论文作者Zelin Gao, Qiuyu Wang, Jiapeng Zhu 等ANT GROUP具身智能世界模型blog https://jinxindeep.github.io/blog/blog2026.html