摘要静态 LLM 评的是「答对没有」Agent 评的是「在动态环境里能不能通过一连串决策把事做成」。IBM Research 与 Yale 等在2026 年 4 月更新的 v2 综述arXiv:2503.16416把 Agent 评测拆成五层核心能力规划 / 工具 / 自反思 / 记忆→ 应用 benchmarkWeb / SWE / 科研 / 对话→ 通用 Agent → benchmark 设计维度 → 开发者评测框架LangSmith、Langfuse 等。综述指出行业正从「静态、易饱和的单点 benchmark」转向更真实、可持续更新的 live evaluation并强调必须解耦backbone LLM与Agent Harness脚手架的贡献。2026 年三篇跟进工作则从三个方向补洞AgentAtlas2605.20530提出控制决策六态 轨迹失败九类 taxonomy证明「只看最终成功率」会系统性误导Claw-Eval2604.06132用三通道轨迹审计 300 人工校验任务显示仅看输出的 LLM Judge 会漏掉44%安全违规LiveAgentBench2603.02586以104个真实场景、374条任务动态评测最好商业 AgentManus成功率仅35.29%人类可达69.25%。本文以综述为骨架用三篇 2026 论文说明「2026 年该怎么评 Agent」。Survey on Evaluation of LLM-based Agents一、为什么评 Agent 不能沿用评 LLM 的老办法LLM 评测的主流范式是给定输入检查输出是否匹配标准答案或 rubric。Agent 则多了一步——它要在动态环境里做序列决策选工具、改状态、多轮对话、失败后恢复。Yehudai 等IBM Research Yale在综述开篇点明评测对象从「文本生成质量」变成「任务完成路径 中间行为是否合规」。三个现实痛点在 2025–2026 被反复验证•成功率虚高综述附录 E.2 称 SWE-bench Verified Top 性能已约80%接近饱和WebArena 动态环境 Top 约74.3%2026 年 2 月提交。但 SWE-bench Pro 在41个仓库、1865个经人工校验的长程任务上正文 §3.2 仍写 Pass1低于 25%附录 E.2 则更新称 Pro SOTA 约46%——需随模型迭代注明时间戳——说明「修 familiar bug」与「做 hours 级多文件改动」不是同一回事。•脚手架混淆模型能力AgentAtlas 报告OSWorld 上同一 agent-s3 GPT-5 组合单从次运行切到 best-of-10分数可从65.6%涨到69.9%CCBench 上 Claude Code 不同版本跨度达50.8个百分点。排行榜越来越像「系统工程分」而非纯模型分。•静态 benchmark 快速饱和BFCL 从 v1 演进到 v4、SWE-bench 衍生 Verified / Pro 家族本质都是在对抗数据污染、任务过易、评测协议过松。Yehudai 综述的 Figure 1 用一棵「能力 → 应用 → 通用 → 维度 → 工具链」的树把 2023–2026 初上百篇 benchmark 与评测平台挂到同一坐标系上——后文所有「该用哪个 benchmark」的讨论都建议先在这张地图里定位。图 1评测综述的五层结构能力 / 应用 / 通用 Agent / benchmark 维度 / 开发者框架。来源原论文 Figure 1。1.1 评测对象LLM、Harness、还是整个系统综述 v2 特别强调Decoupling LLM Harness Evaluation。一次 Agent 跑分至少混了三样东西组件是什么单独评测的意义Backbone LLMGPT / Claude / Qwen 等基座隔离「模型本身」的推理与工具调用能力Agent HarnessLangGraph / 自研编排、记忆、重试策略隔离「框架与脚手架」带来的增益或损耗工具与环境MCP Server、Docker 沙箱、浏览器隔离「外部接口稳定性」对分数的影响Harbor、Exgentic、CUBE2603.15798等 2026 工作正试图用统一协议让同一 harness 跨 benchmark 复跑——这是框架测评走向可复现的前提。微信号iamxxn886· 备注「论文」二、第一层四大核心能力怎么评综述 §2 把 Agent 必备能力拆为Planning、Tool Use、Self-Reflection、Memory。每一类都有从「单步能力」到「长程 Agent 工作流」的 benchmark 梯度。2.1 规划与多步推理早期用 HotpotQA、GSM8K 等推理集间接测 AgentPlanBench 把经典规划任务搬进 LLM 语境暴露长程规划短板。2026 新增的 DeepPlanning2601.18137强调带可验证约束的长 horizon 规划——即使 SOTA 模型在「步骤多、约束硬」的设置下仍频繁失败。2.2 工具调用从单步 API 到 MCP 长程交互工具评测经历了三代演进综述梳理如下阶段代表 Benchmark测什么局限单步函数调用ToolAlpaca、API-Bank、BFCL v1意图识别、函数选择、参数映射缺多轮状态多步有状态BFCL v2/v3、NESTFUL、ComplexFuncBench依赖前序调用的链式工具、隐式参数仍偏合成环境真实 MCP 长程MCP-Atlas2602.00933、Tool-Decathlon真实 MCP Server、多域长任务前沿模型仍远未饱和BFCL 已成为 tool-use 事实标准但综述提醒单轮调用分数高不等于 Agent 在 20 步工作流里不会选错工具或遗忘状态。2.3 自反思与记忆自反思评测多把现有 benchmark 改成多轮反馈环LLF-Bench、Reflection-Bench但缺乏统一标准仍是综述指出的 gap。记忆方面LoCoMo、MemGym、MemoryArena2602.16313等把焦点从「聊天记名字」转向Agent 执行过程中动态形成的记忆——更接近生产环境。图 2综述 §5 benchmark 五维分析相关章节。来源原论文 PDF 章节页非独立 Figure 编号。三、第二层按应用场景选 Benchmark综述 §3 用四个「主战场」覆盖大部分工程需求。下表是精简版选型表数字均来自各 benchmark 原论文或综述引用场景代表 Benchmark环境特点关键数字 / 备注Web AgentMind2Web静态、WebArena动态GUI / 浏览器WebArena 2026 初 Top 约74.3%Mind2Web 偏动作匹配SWE AgentSWE-bench Verified / Pro / Terminal-BenchDocker 代码库Verified500题Pro Pass125%科研 AgentScienceAgentBench、PaperBench、AAAR-1.0代码 实验设计ResearchCodeBench 等约37%量级见 auto-research 综述非 Yehudai 正文数字对话 工具τ-bench、τ²-bench模拟用户 APIτ² 引入电信域共享动态环境IntellAgent 可合成场景动态 vs 静态环境是选型第一原则Mind2Web 等静态轨迹不会惩罚「早期错一步、后面全崩」的复合失败WebArena、SWE-bench Docker 环境才能测长程状态依赖。四、第三层通用 Agent 与 benchmark 设计维度4.1 通用 Agent单 benchmark vs 统一平台两条路线并行•单套综合题GAIA原论文165题真实世界问答、GAIA2移动 App 环境、OSWorld / AppWorld跨应用桌面操作。GAIA 易子集已饱和难例仍具挑战。•多 benchmark 统一排行榜AgentBench多环境交互、HAL跨域 成本感知、Harbor CUBE容器化 标准接口。LiveAgentBench 可视为第三条路——从社交媒体真实用户问题出发用 SPDGSocial Perception-Driven Data Generation流程持续产题对抗数据污染。4.2 五个正交维度设计 benchmark 的检查清单综述 Table 1 用五维对比代表 benchmark节选复现Benchmark数据策展环境接口指标安全SWE-bench Verified混合 人工动态Code单元测试否WebArena混合动态GUI混合否τ-Bench混合动态Tools状态匹配是GAIA人工动态混合答案匹配否PaperBench混合动态Code端到端否五个维度含义•Data人工 / 合成 / 混合GAIA 坚持人工出题保证「对人简单、对 Agent 难」。•Environment静态轨迹 vs 可改变状态的动态沙箱。•InterfaceCode / Tools / GUI 三种主流交互面。•Metric单测、状态匹配、答案匹配、端到端 rubric——指标选错可让分数偏差 100%见 Establishing Best Practices, 2507.02825。•Safety仅 τ-Bench 等少数显式测策略合规多数 benchmark不惩罚删库式「成功」。五、第四层开发者评测框架与 2026 新范式5.1 综述 §6LangSmith 们评的是什么综述 Table 2 对比主流观测评测平台不是 LangGraph/CrewAI 编排框架平台逐步评估监控轨迹评估HITL合成数据A/BLangSmith✓✓✓✓×✓Langfuse✓✓×✓×✓Vertex AI Eval✓✓✓××✓Arize✓✓×✓✓✓Patronus AI✓✓×✓✓✓Mosaic AI✓✓×✓✓✓三类评估粒度Final Response快、便宜适合回归测试但看不见中间步骤。Stepwise逐步 judge 工具选择、参数、路由——Arize Phoenix 有 routing/planning 模板。Trajectory对照 gold path 或 LLM judge 评整条路径——LangSmith / Vertex 支持 exact / partial / subset 匹配。综述指出的框架层 gap缺安全合规内置指标、缺跨 trace 根因分析、LLM Judge 规模化成本未计入。图 3综述 Table 2 开发者评测平台能力对比。来源原论文 Table 2 所在页。5.2 AgentAtlas别只看排行榜最后一列AgentAtlasUCSC MIT2026-05不发布新 leaderboard而是回答你的分数到底在测哪种行为控制决策六态任何工具型 Agent 都该显式打分状态含义典型失败Act信息充分、可安全执行过度犹豫Ask任务欠指定应先澄清盲目开干Refuse越权 / 有害错误放行Stop已完成或应终止无限循环Confirm不可逆操作需确认直接执行Recover失败后应修复而非硬闯无视错误继续轨迹失败九类继承 AgentRx 标签 两层扩展错误来源 × 影响。对15个 benchmark 做六轴覆盖审计0/1/2 分Tool 执行覆盖最好9/15 强覆盖Control 决策与Trajectory多为弱覆盖Efficiency无一 benchmark 强覆盖。实证演示1342条合成题、8个模型的核心发现• 给模型显式标签菜单时控制准确率集中在0.87–0.95模型看起来差不多。• 去掉标签菜单后轨迹诊断准确率全体下降 14–40 个百分点且收敛到0.54–0.62窄带——测的更像 prompt 监督而非真实诊断力。•没有模型能在控制、轨迹、工具上下文三个轴同时领先τ-bench 上 Pass1 冠军Claude Opus 4.5,0.70与 Pass4 冠军Qwen3.5,0.56不是同一个。Ask-or-Assume 案例在欠指定的 SWE-bench Verified 子集上不确定性感知 scaffold 通过选择性提问把分辨率从61.2%提到69.4%8.2pp——说明「会不会 Ask」本身应是评测维度。图 4AgentAtlas 控制决策六态与 15 个 benchmark 覆盖分析示意。来源AgentAtlas 论文。5.3 Claw-Eval可信评测需要「三条证据链」Claw-Eval北大 港大2026-04 v3针对综述仍缺的轨迹不透明、安全/鲁棒性嵌入不足、模态覆盖窄三件事给出可落地协议架构Setup → Execution → Judge 三阶段执行与评分时间隔离防止 Judge 信息泄露。三通道证据缺一不可结构化 execution trace服务端 audit logAgent 对话里看不到执行后环境 snapshot任务300题、9类、2159条可独立验证 rubric 项三分支——General 服务编排161、Multimodal 感知生成101、Multi-turn 专业对话38。三维评分Completion × Safety乘性门控× Robustness注入错误后的恢复率每题3次 trial报告 Score / Pass3 / Pass^3。Claw-Eval 在14个前沿模型上的 headline 结果发现数字含义轨迹不透明 Judge 不可靠漏检44%安全违规、13%鲁棒性问题仅给对话 transcript 不够能力 ≠ 一致性Pass3 稳定Pass^3 在错误注入下最多降24pp部署要看 Pass^k多维排名分裂Opus 4.6 Overall Pass^370.4%最高Sonnet 4.6 Score81.4%最高峰值与可靠不是一回事Multimodal 仍是短板Multimodal Pass^3 最高25.7%GPT-5.4文本工具强 ≠ 视觉 Agent 强多轮对话提问质量与 Pass^3 相关r0.87轮数相关r0.07评对话 Agent 要看问什么不是聊多久图 5Claw-Eval Setup / Execution / Judge 与三通道证据。来源Claw-Eval Figure 1。5.4 LiveAgentBench真实场景 动态更新LiveAgentBenchAnt Group2026-03补的是综述 §7.1 强调的Live Benchmarks路线•104场景、374任务125 验证 / 249 测试来源为知乎、Quora、Stack Overflow、短视频等真实用户问题•SPDG标准流程筛选不可检索、必须依赖工具 → 专家改闭式答案 → 双盲标注 第三人仲裁• 覆盖 GAIA / AgentBench缺少的能力Android/iOS 操作、音视频理解、浏览器 文件 多模态组合• 支持定期更新降低训练集污染风险LiveAgentBench 整体结果Pass1百分比对象Overall备注LLM 平均~13.48%纯模型几乎无法独立完成Agent 产品平均~23.85%论文称 Agent 相对 LLM 平均高约56.51%摘要 relative improvement 表述Manus最佳 Agent35.29%仍远低于人类AWorld 框架15.51%约11.76%任务因不稳定直接失败人类69.25%真实任务天花板参考Gemini-2.5-pro 在 LLM 中最高16.85%但不及 Manus 一半——说明真实世界 Agent 评测与 GAIA 类学术榜分化明显。LiveAgentBench 还按能力维度暴露短板节选 Overall 正确率%能力维度Manus人类差距解读Video16.080.0音视频理解仍是 Agent 盲区Audio33.3373.33同上Image35.2960.50多模态弱于文本/FileText / File28.40 / 37.8573.33 / 64.20工具链稳定时仍难追人论文还指出工具稳定性对 Agent 分数影响大于模型本身——AWorld 约11.76%任务因框架不稳定未执行完毕AWorld Overall15.51%与商业 Agent 产品整体相差约8.34个百分点摘要表述为 AWorld vs other agents。图 6LiveAgentBench 从真实用户案例到评测集的构建概览。来源LiveAgentBench Figure 1–2。六、2026 工程向评测 Playbook把综述 三篇 2026 论文合成一套可执行 checklist6.1 先定「评什么」目标推荐组合工具调用基线BFCL v4 MCP-Atlas 子集编码 AgentSWE-bench Verified回归 Pro 子集压力Web / 桌面WebArena 或 OSWorld 报告 scaffold 配置对话 策略τ²-benchPass1与Pass4 都报真实用户任务LiveAgentBench 或自建 SPDG 式闭式答案集上线前审计Claw-Eval 风格三通道 Safety 乘性门控行为诊断AgentAtlas 六态 九类轨迹标签6.2 再定「怎么评才公平」•固定三角同一 backbone 模型 同一工具集 同一 token/时间预算•至少报三个数成功率或 Passk、成本token / 美元 / 延迟、一致性Pass^k 或 trial 方差•拆开 LLM 与 Harness同一模型换框架、或同一框架换模型只做单因子变化•拒绝轨迹黑盒Final answer judge 仅作 smoke test关键路径必须 step / trajectory 级证据•嵌入失败注入Claw-Eval 显示 HTTP 429/500 注入下 Pass^3 暴跌而 Pass3 几乎不动——生产必测鲁棒性•动态刷新题池静态榜饱和后迁移到 LiveAgentBench / BFCL 新版本 / SWE-bench Pro6.3 综述仍指出的未解 gapYehudai v2 §7.2 与三篇 2026 论文共同指向•细粒度指标标准化仍缺AgentAtlas 在补 vocabulary不是最终 score•成本效率rarely 与准确率同列HAL 是少数例外•安全合规多数 benchmark 仍后置•Harness 解耦协议刚起步Harbor / CUBE•LLM Judge 成本与偏差未纳入评测 meta-metrics七、局限与如何使用综述局限2026 年 4 月 v2 已是该领域最新总综述但 Agent 评测仍快变作者维护 GitHub 追踪库 持续更新文献。AgentAtlas 局限§7 演示集由单一 Claude Opus 4.7 生成标签绝对分数不宜与 HAL / AgentRx 直接横比定位为measurement protocol非替代 GAIA / SWE-bench 的新榜。Claw-Eval 局限300 题覆盖仍有限Multimodal 对 9 个视觉模型子集评测Judge 仍部分依赖 Gemini-3-Flash。LiveAgentBench 局限闭式字符串匹配简化评测对开放生成报告类任务覆盖不足部分场景依赖中国互联网数据源跨区域泛化需验证。建议使用顺序通读 Yehudai 综述 Figure 1 §5 维度表建立 benchmark 地图按业务场景从 §3 表选 1–2 个主 benchmark 1 个 stress benchmark上线前参照 Claw-Eval 补轨迹审计与安全/鲁棒性用 AgentAtlas taxonomy 做「我们的榜到底缺哪几个行为轴」自查季度性加入 LiveAgentBench 或自建 SPDG 题池做 drift 检测学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】