如果你在技术社区看到一个标题Two LLMs sword-fight in a physics SIM, humans blind-vote who reasoned。第一反应大概是“这什么鬼”但多看一眼就会意识到这不是单纯整活而是一个把 LLM 评估搬进物理模拟竞技场的实验。两个大语言模型分别负责一个剑手的实时决策在模拟物理环境中对战人类观众看不到模型名字只凭打斗过程和中间表现盲投“谁更像在推理”。这个项目想测试的不是模型能答对多少道题而是它在持续变化的对抗场景里能不能做出像样的决策。这类实验让我更愿意关注的不是“模型 A 赢还是模型 B 赢”而是它背后的问题当 LLM 从“问答工具”变成“智能体大脑”时我们到底应该用什么方式判断它强不强传统基准测试看最终答案但这个项目把观察维度从“回答是否正确”换成了“在动态环境里的决策是否合理”。这个转向可能才是它真正有意思的地方。1. 先别把它当成整活它其实是一次“LLM 推理竞技”实验1.1 从标题可以读出的核心玩法先从标题拆解。Show HN 是社区里常见的展示性帖子作者把一个可公开访问或可运行的项目放出来给技术圈看。标题里的三个信息很有辨识度一是 Two LLMs sword-fight两个大语言模型在游戏里拿剑对打二是 physics SIM后面对抗发生在物理模拟环境里三是 humans blind-vote who reasoned人类做盲投判断谁更会推理。我们可以合理推断这大概率是一个模拟环境或者小游戏物理引擎负责渲染剑手、动作、碰撞和击退效果两个 LLM 分别接收某种状态信息位置、血量、距离、对手动作等输出下一步决策决策被翻译成移动、攻击、防御等动作再作用到模拟世界。整个过程持续若干回合直到一方被击败。观众看到的是一段可回放的“剑斗视频”但画面里不会标出剑手背后的模型是谁于是投票只能依赖对行为本身的主观判断。这类实现目前比较少见但技术的拼图都是现成的物理模拟器、LLM API、动作解析、回放录制、投票系统。真正难的不是某个环节而是把语言模型的自由输出稳定地映射成一个可交互的物理 agent并且让整个流程可复现。1.2 为什么用“剑斗”而不是“辩论赛”选择剑斗这个形式不是拍脑袋。文字辩论也可以让两个 LLM 对抗然后让人类评谁更有说服力但那是语言层面的事。剑斗把问题从“谁说得有道理”变成了“谁在充满限制的物理世界里做得对”。剑斗是典型的顺序对抗博弈决策空间大但不是无限你可以进攻、后退、格挡、蓄力、试探但每个动作都有代价。信息不完整你知道自己在哪、对方大概在哪但不一定知道对方下一步想做什么。时间与空间耦合动作不是瞬间生效的出剑有前摇移动有速度攻击有范围和冷却。对手会动态适应上一局有效的策略下一局不一定有效因为对手也可能是 LLM会根据你的动作调整。这些特性让剑斗不是一个静态知识题而是一个持续规划与反规划的过程。模型不能靠背答案取胜它必须把语言理解、环境感知、战术决策和动作执行串起来。用这个场景来测试 LLM 的推理比单轮问答更接近真实智能体任务。1.3 为什么这种实验容易被误解成“玩具”很多人看到“LLM 打剑”会直接划到娱乐区因为观感确实像整活。但如果只看成玩具会错过一个关键点这类“竞技场”设计不是为了让模型变得更会玩游戏而是给模型能力评估提供一种新的观测窗口。传统基准的答案通常是确定的模型答完即结束没有上下文延续也没有对手。而在这个场景里模型每一个决策都会影响后续状态且必须在有限时间内做出选择。也就是说测试的不是“记忆中的知识”而是“实时状态下能不能把知识迁移成动作”。这是从聊天机器人走向具身智能体时一定会遇到的问题。所以与其说它是个玩具不如说它是一个低成本、低风险、视觉上很直观的 Agent 评测原型。2. 把推理能力变成动态对抗物理 SIM 是那个“不可作弊的裁判”2.1 从单轮问答到连续决策难的不是“说”而是“做”传统 LLM 评测通常会一次性输入问题模型输出结果然后对答案算分。这个过程里模型不用担心“我上一次动作对当前状态的影响”也不用考虑“如果我防御对手会不会变招”。但在物理模拟里对话被切成了很多个短回合。每一回合模型都要读入当前状态输出一个操作然后环境更新。下一个回合的状态是基于上一个操作计算出来的。这意味着模型必须在头脑中建立一种微型世界模型知道位置、距离、出招方向、冷却时间甚至还要预测对方可能的行为。这也暴露了 LLM 的一个真实短板语言生成很快但连续决策并不容易。模型可能在一个回合里说出了很合理的战术下一个回合却因为上下文过长、状态描述不规范、动作解析失败导致行为脱节。物理 SIM 在这里像一个严格的执行者不关心你的回答是否漂亮只关心你的动作指令是否真的能被执行、能不能带来效果。2.2 物理模拟如何把语言转成行动要让 LLM 在物理环境里行动通常需要一条“语言到动作”的转换管道。常见做法是给模型提供一个结构化状态例如你当前位于(3.2, 0)面向对手。 对手当前位于(1.8, 0)距离1.4。 你的血量100对手血量100。 你持有剑攻击冷却2.0秒可执行动作move_left, move_right, attack, block, wait。 请输出一个动作。然后模型输出类似attack或move_left 0.5的文本解析器把它映射成模拟器里对应的物理动作。这里的关键不是模型要会写代码而是它要能理解状态描述并在动作空间中挑出合适选择。物理引擎的作用是让动作有真实的后果攻击如果命中命中判定和距离先要成立如果对手移开攻击落空如果对手格挡则碰撞效果不同。这些后果又会被转换成下一轮的状态文本。所以物理 SIM 不仅是渲染器更是一个把自然语言决策转换成可验证结果的裁判。2.3 为什么说物理 SIM 是一个更“硬”的裁判模型评测最容易受到“怎么问”的影响。同样一道逻辑题换一种表述模型回答质量可能天差地别。物理模拟的优点是规则封闭且定义清楚位置就是位置距离就是距离血量就是血量。模型不能通过重新定义问题来改变结果。同时物理模拟带有连续性和随机性。即使同一个模型在同一个局面下可能因为动作时序的微小差异产生不同结果。这听起来不利于复现但从评测角度看它更能防止“背题”模型无法通过记住一个固定的最优回答来通关因为局面会随着对手动作和环境噪声持续变化。因此物理 SIM 在这里是“不可作弊的裁判”不是说它绝对公平而是它把规则交给可执行的计算而不是交给人类的评分偏好。真正的偏差可能发生在状态描述、动作空间解析和回合节奏这些工程环节上后面会讲。3. 人类盲投的设计把主观判断变成一种评测维度3.1 盲评想解决的问题标签和声望偏差给模型打分很容易带上先入为主如果观众知道左边是某个大厂旗舰模型右边是开源的轻量模型很可能先产生预期然后用预期去解释动作。盲投直接把模型身份隐藏掉让观众只看行为本身这是能有效减少标签污染的做法。这种设计在人类对抗中也很常见围棋的“幽灵棋手”评测、电竞比赛的匿名对局、美食盲测都是为了把“牌子”和“实际表现”分开。用在 LLM 上至少能降低“因为模型名气大所以觉得它更强”的心理效应。3.2 观众投的到底是“推理”还是“观赏性”但这里有一个必须被说清的问题人类盲投的票不等于模型推理能力的客观排序。观众在观看两个剑手对打时更容易被什么影响大概率是动作流畅度、攻击节奏、反打是否精彩、自己能否看懂策略。这些观感确实和推理质量相关——一个能持续组织进攻、合理格挡并选择时机的模型往往比乱挥剑的模型更像在推理。但反过来“打得好看”不一定等于“决策更深”。可能某个模型只是反应快而另一个模型在更早的回合已经预判到局面并布置了陷阱但因为呈现方式不直观观众没注意到。所以这类盲投结果更适合被当作“人类对模型行为合理性的感知”而不是“模型推理能力的真值标注”。它代表的是一种以人为中心的评测视角只要观众认为这个模型像一个会思考的对手它在可接受的行为空间里就离“实用”更近一步。这恰恰是传统基准测试给不了的信息。不要把盲投票数当真理。它只是反映了“人类在观看过程中觉得哪个行为更像有推理能力”。要得出可靠结论必须结合多轮录像、多人投票和决策日志。3.3 与传统基准测试的互补关系传统基准测试擅长测量稳定、可重复的单点能力比如数学解题、代码生成、事实问答。它的优势是量化清晰坏处是容易被数据污染且不一定能反映模型在动态环境里的表现。盲评竞技场则擅长测量综合行为表现模型是不是能根据反馈调整策略会不会陷入重复动作面对对手变化时有没有改观这些指标很难用一道题测出来但通过人类投票和后续的行为日志分析可以看到一些趋势。一个完整的评估体系应该是两者的结合。先用基准测试确认基础能力和稳定性再用这种动态对抗实验观察模型在开放场景下的决策质量。最终判断应该来自多维度证据而不是单单看胜率或得票。维度传统基准测试物理模拟 盲评观测对象单轮输出结果连续行为轨迹主要指标准确率、得分胜率、投票、行为日志是否能防背题容易被数据污染动态环境更难以背题主观性低较高是否适合自动回归非常适合成本高适合抽样评估对人类价值知道模型答得对不对知道模型像不像会决策4. 从看热闹到跑起来复现和扩展这个实验的思路4.1 最小可行原型需要哪些模块如果你看完也觉得想试一下可以拆成几个模块来搭物理模拟环境负责场景、角色、动作、碰撞和状态更新。可选方案包括 PyBullet、MuJoCo、Unity ML-Agents或者更轻量的 2D 自定义引擎。关键是能输出每个 agent 的状态并接收动作命令。LLM 接入层负责调用或加载大语言模型输入状态输出决策文本。可以用远程 API 模型也可以部署本地模型。动作解析器把 LLM 输出解析成引擎可执行的动作。建议使用受限动作空间例如只能输出几个动作关键字降低解析失败的概率。决策日志与回放器记录每个回合的状态、LLM 输出、解析结果和实际动作。没有日志后面就没法分析。盲投前端把回放展示给观众只显示剑手行为不显示模型身份完成投票收集。这个原型看起来模块多但如果只是验证玩法每个模块都可以先做最简版本。比如物理环境只用二维坐标和简单碰撞判定不需要完整的 3D 骨骼动画LLM 接入只要返回动作关键字不要求自由格式文本盲投前端甚至可以做成一个文档表单。实际上物理模拟器和 LLM 不需要放在同一台机器上。模拟器在本地模型在远端通过网络接口通信也可以跑通。这种架构的优点是本地电脑不用同时扛模型推理和物理渲染调试也比较灵活缺点是网络延迟会影响交互节奏需要设计异步缓冲。如果模型不大且本地推理速度够快也可以全部放本机。关键不在于“同一台电脑”而在于你如何设计通信协议和时序。4.2 一个通用流程示意下面是一段非常简化的流程示意用来表达“状态 - 决策 - 动作 - 环境反馈”的循环不是某个项目的真实代码。llm_agent_a LLMAgent(modelmodel-a) llm_agent_b LLMAgent(modelmodel-b) sim PhysicsSim() while not sim.is_finished(): for agent in (llm_agent_a, llm_agent_b): state_text sim.get_state_text(agent) decision_text agent.generate(state_text) action parse_action(decision_text) sim.apply_action(agent, action) sim.step() sim.record_frame()实际的循环会更复杂可能需要异步控制、动作冲突处理、超时判断但核心就是这个闭环。想要跑出有意义的数据至少要保证状态文本对两个模型一致且描述足够清楚。解析器对两个模型的输出规则一致。每个模型的决策生成有合理的时间上限。记录完整的原始输出和最终执行动作方便排查。4.3 实验设计上最容易踩的几个坑这类项目最大的坑不是模型能力不够而是“模型输出无法稳定地转成动作”。状态描述太复杂如果给模型一长串坐标、速度、冷却时间、对手历史动作它可能掌握不到重点。更建议把状态描述精简成“距离、血量、可执行动作、上一回合对手动作”让模型先做有限选择。动作空间太自由让模型自由输出自然语言比如“向左移动并准备格挡”解析器很难处理。建议先用带格式的指令要求必须输出一个动作关键字加一个数值比如move_left 0.5。回合节奏太快物理模拟通常每秒更新很多次但 LLM 推理需要几百毫秒甚至更久。如果不做异步限制模型还没输出动作模拟世界已经跑了很远。解决办法是把 LLM 决策频率降到每秒一次或每两次物理步长一次给推理留出时间。只关注胜负不看过程如果只看谁赢了这个实验和普通游戏没有区别。应该把重点放在决策日志上某个回合模型为什么选择进攻是否在下一次回合修正了错误这些才是推理的证据。没有对照组至少安排一个随机策略或脚本策略作为基线否则你无法判断模型的表现是“因为会推理”还是“因为动作空间刚好适合它”。如果模型行为不符合预期我会按这个顺序排查先看模型接收到的是不是真实状态再看解析器是否把输出变成了正确动作再看物理引擎是否按预期执行动作最后看回合节奏是否让模型有足够时间推理。大部分问题都出在解析器或状态格式而不是模型本身。注意不要一开始就上高并发、长回合、多模型混战。先用一条固定录像跑通确认状态解析、动作映射和日志记录都没问题再逐步增加复杂度和样本量。5. 这类“LLM 竞技场”会改变我们评估模型的方式吗5.1 它能测出哪些传统评测测不到的能力这类方案最有潜力的地方是它把几种能力叠在一起测试状态理解模型能不能从一段文字或结构化的状态中提取关键信息。空间推理距离、方向、攻击范围这些空间概念是不是真的被理解还是只是字面匹配。策略调整面对对手变化模型会不会改变自己的策略而不是机械重复。抗干扰在有限时间、有限动作空间、不完整信息下模型能不能继续给出可执行决策。长期行为一致性开局和中期的策略能不能互相衔接还是每个回合各自为政。这些都是 LLM 变成智能体时绕不开的能力。传统问答测试没法连续观察它们而物理竞技场可以通过一局对局里的行为轨迹给出很直观的证据。5.2 但它测不出什么也必须说清楚不要把这个实验神化。它在目前形态下有三点明显的边界第一不能很好测“推理过程的可解释性”。即使模型赢了你也很难知道它的决策来自真正规划还是来自训练数据里的“剑斗文本”启发。盲投结果只能说明行为结果不能解释内部推理链。第二环境状态通常被简化了。真实世界比物理 SIM 复杂得多模型在一个简化环境里的表现不能直接外推到机器人、自动驾驶或商业决策。它更像一个“受控样例”而不是完整测试。第三人类盲投有不可忽视的主观噪声。观赏性、渲染效果、回合节奏都可能影响投票。如果用盲投票数做排名必须重复多轮、多人投票并且结合行为日志做统计分析否则结论不可靠。5.3 它更适合谁不适合谁如果你在做 LLM 智能体研究想观察模型在连续决策任务里“像不像一个能自己玩起来的角色”这个方案可以作为一个不错的 demo 和启发。如果你是做模型评测想用它替代 GLUE、MMLU 之类的标准测试那不合适。它更像一个补充维度不能替代标准化的定量测试。如果你是普通开发者觉得有趣想练手也很适合。它可以帮你熟悉 LLM 调用、动作解析、状态机设计和简单物理模拟的整合流程而且不需要部署特别大的算力。5.4 长期真正值得关注的东西这个项目真正值得长期关注的地方不是剑斗本身而是它代表了一种评估思路的转变从“最终答案对不对”到“行为过程像不像在推理”。未来LLM Agent 会越来越多地进入游戏、仿真、机器人控制、自动交易、仓储调度这些需要连续决策的场景。届时我们需要的评估指标可能不再只是准确率而是“在动态环境里你更愿意把控制权交给谁”。这种“让两个模型互相对抗再让人类盲投”的框架也许只是早期雏形但它提前把问题摆到了桌面上当我们无法用标准答案判断一个模型好不好时我们还能怎么判断这个答案目前没有定论。但可以确定的是把 LLM 放进物理模拟里做对抗至少比让它干答一百道题更有趣也更接近未来智能体需要面对的真实考验。如果是我自己接到类似的项目需求我不会一上来就优化模型参数而是先搭一个最简的实验闭环一个物理环境两个模型接口一套动作解析一个录像回放。先跑十局看日志再问自己一个问题如果遮住模型名字只看决策过程我能不能说出谁更会推理如果连我都说不出那问题大概率不在模型而在实验呈现的方式。这句话也是这篇文章想表达的主判断这类物理 SIM 加盲评的实验真正的价值不在于分出胜负而在于逼我们去重新思考一个会推理的大模型应该看起来什么样。