title: 测试 Agent 评测体系详细方案date: 2026-07-08format: xmind-outline-backup测试 Agent 评测体系详细方案1. 评测目标与边界核心目标验证 Agent 是否真正完成测试任务而不是只生成看似合理的文本衡量从需求理解、测试设计、执行、断言、归因到报告的端到端质量形成模型/工具/提示词/工作流升级前后的可回归评测基线把评测结果接入发布门禁、工具选型和测试平台治理被测对象测试用例生成 AgentUI 自动化 Agent如 Playwright Test Agents、Midscene、UI-TARS、Computer Use 类方案接口/流程测试 Agent从 OpenAPI、Arazzo、需求文档生成并执行测试资损测试 Agent识别资金风险、生成异常场景、验证业务不变量代码测试 Agent补单测、修失败测试、修 CI、提升覆盖率评测平台自身dataset、grader、runner、trace 和报告不纳入首期范围纯模型通用能力 benchmark只看回答质量、不验证执行结果的静态问答评测无法脱敏或无法沙箱隔离的真实资金操作核心结论口径任务是否成功最终产物是否可执行、可验证、可复现过程是否可信每一步工具调用、观察、决策都有 trace风险是否覆盖高风险业务点是否被召回并验证成本是否可控执行时间、模型费用、人审成本是否可接受2. 全链路节点展开节点 0评测任务入口目标定义要评测的 Agent、任务集、环境、模型版本和工具版本输入Agent 配置、模型版本、提示词版本、工具白名单、评测集版本输出一次 eval run 的唯一 ID、运行计划、权限范围指标配置完整率、版本可追溯率、任务启动成功率难点同一个 Agent 在不同模型/工具/提示词下结果差异很大设计点所有运行强制记录 model、prompt、tool、dataset、环境镜像和代码 commit节点 1需求/任务理解目标判断 Agent 是否正确理解需求、约束、风险和验收标准输入PRD、需求单、接口文档、页面链接、历史缺陷、用户故事输出需求摘要、测试目标、风险清单、待澄清问题指标需求点召回率、误解率、风险点召回率、澄清问题有效率难点需求常有歧义、隐含规则、过期文档和跨系统依赖设计点引入标准答案要点、业务规则 checklist、人工抽样复核和反例需求集节点 2测试计划生成目标从需求生成分层测试策略和可执行测试计划输入需求理解结果、系统架构、接口契约、页面结构、风险模型输出测试范围、测试类型、优先级、数据准备、执行顺序、退出标准指标测试类型覆盖率、关键路径覆盖率、冗余率、不可执行计划比例难点Agent 容易只列常规功能点漏掉异常、权限、并发、幂等、资损场景设计点按功能、接口、UI、流程、资损、数据、性能、安全、兼容性建立覆盖模板节点 3测试设计与用例生成目标生成具体 case、断言、测试数据和执行脚本输入测试计划、接口 schema、页面结构、业务规则、历史 case输出UI case、API case、流程 case、资损 case、数据质量规则、单测代码指标可执行率、断言完整度、边界值覆盖率、重复用例比例、维护成本难点生成内容可能看似完整但不可运行或者断言太弱只验证 200/页面存在设计点生成后必须进入静态校验、依赖校验、dry-run 和最小执行验证节点 4测试数据准备目标为测试生成稳定、隔离、可回滚、可复用的数据输入数据需求、环境、账号、权限、商品/订单/账户/优惠/库存状态输出测试数据包、数据创建脚本、清理脚本、数据血缘记录指标数据准备成功率、数据污染率、复用率、清理成功率难点真实业务数据依赖多、状态复杂、跨系统创建成本高设计点建设测试数据工厂支持数据模板、快照、mock、影子账号和回滚策略节点 5环境与依赖校验目标确认被测系统、依赖服务、浏览器、数据库、消息队列和权限可用输入环境配置、服务健康检查、依赖拓扑、测试账号输出环境就绪报告、阻塞项、降级策略指标环境可用率、非业务失败占比、依赖故障定位时间难点大量 eval 失败不是 Agent 能力问题而是环境、数据、权限和依赖问题设计点运行前 health check失败分类区分 Agent failure 和 environment failure节点 6工具调用与执行目标评估 Agent 使用 Playwright、API client、DB、日志、CI、代码工具的能力输入工具白名单、测试计划、上下文、执行权限输出工具调用序列、执行日志、截图、网络请求、数据库查询、代码 diff指标工具调用正确率、非法调用率、重试次数、工具参数错误率、任务完成率难点Agent 可能选错工具、构造错误参数、越权操作、陷入无效循环设计点工具网关统一鉴权、参数 schema 校验、危险动作审批、最大步数和预算限制节点 7断言与结果判定目标判断执行结果是否满足业务、技术和体验预期输入执行结果、页面状态、API 响应、DB 状态、日志、消息、业务不变量输出pass/fail、失败证据、断言详情、置信度指标误判率、漏判率、断言强度、oracle 覆盖率难点很多真实任务没有单一标准答案UI 和业务状态也可能异步变化设计点组合 oracle规则断言 执行结果 快照对比 LLM judge 人审抽样节点 8失败归因目标把失败归类为需求问题、Agent 规划问题、工具问题、环境问题、产品缺陷或测试缺陷输入trace、日志、截图、错误堆栈、网络请求、系统指标输出失败类别、根因假设、复现步骤、责任域、修复建议指标归因准确率、人工复核一致率、平均定位时间、重复失败聚类率难点长链路失败常有多个原因Agent 也可能编造根因设计点基于 trace 的阶段化归因优先用确定性证据再用 LLM 生成解释节点 9自修复与再执行目标评估 Agent 是否能修复失败测试、补充等待、修正 selector、调整数据或修复代码输入失败报告、测试代码、应用上下文、历史修复样例输出修复 diff、再执行结果、风险说明指标一次修复成功率、引入新失败率、修复 diff 人审通过率、flaky 降低率难点Agent 可能为了通过测试而削弱断言、删除步骤或掩盖真实缺陷设计点禁止降低断言强度修复前后做语义 diff关键测试必须人审节点 10报告与证据沉淀目标产出可复盘、可比较、可追踪的评测报告输入run 结果、指标、失败聚类、成本、trace、版本信息输出排行榜、趋势图、失败清单、改进建议、门禁结论指标报告完整率、可复现率、问题闭环率、阅读和采纳率难点报告如果只有分数无法指导模型、提示词、工具或产品改进设计点报告必须包含样例、证据、失败分类、Top 问题和下一步行动节点 11回归门禁与线上监控目标将评测结果用于模型升级、工具升级、Agent 发布和生产风险监控输入基线分数、发布候选版本、风险等级、线上采样数据输出放行/阻断/灰度/回滚建议、线上告警、回归趋势指标阻断有效率、误阻断率、线上问题逃逸率、回滚及时性难点过严会阻碍迭代过松会放过高风险 Agent 行为设计点分级门禁P0 安全和资损必须强门禁体验类采用灰度和抽样监控3. 评测集 Dataset 设计数据来源历史需求PRD、用户故事、验收标准历史缺陷线上事故、严重 bug、回归 bug、资损事件历史测试资产手工 case、自动化脚本、接口集合、Playwright trace生产行为脱敏流量、用户路径、失败日志、客服问题合成样本边界值、异常流、攻击样本、长链路任务样本类型Golden tasks标准任务预期结果清晰Regression tasks历史失败必须持续通过Adversarial tasks诱导越权、忽略规则、错误工具调用Long-horizon tasks跨页面、跨接口、跨系统、多轮操作Tool-use tasks重点评估工具选择和参数构造Ambiguous tasks评估澄清问题能力而不是盲目执行No-op tasks验证 Agent 是否能拒绝不该做的事Risk tasks资损、安全、隐私、权限、合规高风险任务样本标注字段任务 ID、业务域、风险等级、测试类型、复杂度输入材料需求、接口、页面、数据、上下文期望结果必须覆盖点、禁止行为、通过条件、失败条件标准 trace可选用于对比关键步骤是否合理oracle 配置规则、脚本、人工 rubric、LLM judge rubric环境依赖账号、数据、服务、mock、外部依赖数据集分层Smoke eval每次变更快速跑10 到 30 条高确定性Daily eval每天跑100 到 300 条覆盖核心功能Release eval版本发布前跑覆盖高风险和长链路Deep eval每周或模型升级前跑包含复杂、多轮、对抗和资损样本Online eval线上抽样评测关注真实用户行为和漂移数据治理版本化dataset v1/v2所有结果绑定版本脱敏移除用户、订单、账户、密钥和隐私信息去重避免同类样本过多导致指标虚高难度校准简单、中等、困难、极难分层污染防护防止评测答案泄漏进 Agent prompt 或训练材料4. 指标体系端到端指标任务成功率最终是否完成目标并满足验收条件一次通过率不依赖人工干预、不多次重试的成功比例稳定通过率同一任务多次运行结果一致程度逃逸率评测通过但真实场景失败的比例人审通过率Agent 产物被测试/研发采纳的比例需求理解指标需求点召回率业务规则识别准确率风险点召回率澄清问题有效率幻觉需求比例测试设计指标测试类型覆盖率功能、异常、权限、兼容、资损、数据、性能边界值覆盖率负向场景覆盖率业务不变量覆盖率冗余用例比例执行指标工具调用正确率非法工具调用率执行耗时重试次数非业务失败占比断言指标强断言比例校验业务状态、数据、消息、日志而不只是页面存在误判率错误判定失败或成功漏判率真实问题未被断言发现oracle 覆盖率异步等待正确率安全与治理指标越权操作次数敏感信息泄露次数危险动作拦截率拒答/拒绝执行正确率沙箱逃逸风险成本指标单任务模型 token 成本单任务执行资源成本平均运行时长人工复核耗时失败排查耗时5. Grader / Oracle 设计规则型 Grader适合接口状态码、schema、字段值、金额、状态机、权限校验优点确定性强、可解释、适合门禁难点规则维护成本高覆盖不了主观质量设计点规则版本化支持业务域插件和不变量模板执行型 Grader适合代码测试是否通过、Playwright 是否成功、API 链路是否执行完成优点直接验证真实可执行结果难点环境、数据和 flaky 会影响评分设计点执行前健康检查失败分层重复运行确认 flaky差异型 Grader适合截图对比、DOM 快照、API 响应快照、DB 快照优点能发现非预期变化难点动态内容和合理变化会造成误报设计点忽略动态字段设置容忍阈值和可解释 diffLLM Judge适合测试计划质量、风险识别、报告质量、自然语言解释优点能处理非结构化输出难点偏差、不稳定、被提示词影响、难做强门禁设计点rubric 标准化双评委 仲裁抽样人工校准禁止单独决定 P0 门禁人工评审适合高风险样本、低置信度样本、新场景校准优点可靠能补充业务判断难点成本高、主观差异大设计点只审抽样和争议样本用 checklist 降低主观差异组合评分先用确定性规则和执行结果打底再用 LLM judge 评估非结构化质量高风险失败进入人工复核最终分数由任务成功、风险覆盖、过程合规、成本共同组成6. 场景化评测方案测试用例生成 Agent 评测输入需求文档、接口文档、历史缺陷、页面链接输出测试点、case、优先级、自动化脚本、数据准备说明指标需求覆盖、风险召回、可执行率、断言强度、人审通过率难点测试点看似完整但缺少关键异常和业务不变量设计点用历史 bug 作为隐藏标准答案评估是否能生成回归用例UI Agent 评测输入页面 URL、任务目标、测试账号、初始状态输出操作步骤、Playwright 测试、截图、trace、断言指标路径完成率、selector 自愈率、视觉识别准确率、失败定位质量难点页面动态变化、弹窗、异步加载、权限和测试数据状态设计点分离结构化 Web Agent 与视觉 Agent同一流程做多工具对照实验API / 流程 Agent 评测输入OpenAPI、Arazzo/流程说明、认证信息、测试数据输出API case、链路执行结果、状态机断言、错误报告指标schema 覆盖、边界值覆盖、链路成功率、状态迁移验证率难点多接口数据依赖、鉴权、异步回调、幂等和环境污染设计点引入契约校验、状态机模型和可回滚测试数据资损测试 Agent 评测输入订单/支付/退款/账务规则、历史资损案例、异常注入配置输出资金不变量、异常场景、执行脚本、差异对账报告指标资损风险召回率、不变量正确率、异常场景覆盖率、误报率难点业务规则复杂、真实资金不可操作、跨系统账务时延设计点用沙箱账本和模拟支付先评估模型能否表达正确不变量缺陷修复 / CI 修复 Agent 评测输入失败测试、日志、代码仓库、issue 描述输出代码 diff、测试 diff、修复说明、再执行结果指标修复成功率、回归通过率、覆盖率变化、人审通过率、新 bug 引入率难点Agent 可能删除测试、弱化断言或只修表象设计点强制比较修复前后断言引入 hidden tests 和 mutation testsAgent 安全评测输入越权任务、提示注入、敏感数据、危险工具调用诱导输出拒绝执行、请求澄清、审批申请、安全日志指标危险动作拦截率、越权拒绝率、敏感信息泄露率难点测试 Agent 往往需要较高工具权限风险边界模糊设计点工具白名单、最小权限、审批流、红队样本库7. 平台架构设计Dataset Manager管理评测集、样本版本、标签、风险等级和标准答案支持脱敏、去重、难度分层和污染检查Eval Runner按计划调度 eval run支持 smoke、daily、release、deep eval记录模型、prompt、工具、代码、环境和数据版本Sandbox / Environment Manager隔离浏览器、测试账号、测试数据、文件系统和网络权限支持快照、回滚、mock、服务健康检查Tool Gateway统一接入 Playwright、API client、DB、日志、CI、代码仓库、工单系统做 schema 校验、权限校验、危险动作审批和调用审计Trace Collector采集 Agent 思考摘要、工具调用、截图、日志、网络请求、代码 diff支持按节点重放、失败聚类和证据链导出Grader Service执行规则型、执行型、差异型、LLM judge 和人工复核任务输出分数、置信度、失败原因和改进建议Report Dashboard提供模型/工具/版本对比、趋势、失败 Top、成本、门禁结论支持按业务域、风险等级、节点、失败类型下钻Feedback Loop将失败样本回流到 dataset将高频失败转为改进任务prompt、工具、规则、测试数据、产品缺陷8. 难点与设计方案难点成功标准难定义表现自然语言任务没有唯一答案测试计划质量难量化方案分层 oracle结构化任务用规则开放任务用 rubric 人审校准难点Agent 非确定性表现同一任务多次运行结果不同方案固定版本和温度重复运行统计稳定通过率对关键任务取多次一致性难点环境和数据导致假失败表现账号失效、数据污染、下游服务不可用方案运行前 health check数据快照和回滚失败分类不把环境故障算 Agent 失败难点LLM Judge 不稳定表现评分漂移、偏向长答案、被输出格式影响方案明确 rubric少量样本人工金标双 judge 仲裁只做辅助评分难点长链路评测成本高表现浏览器、模型和环境运行时间长方案分层运行smoke 快速筛选release/deep eval 再跑长链路难点资损与安全场景不可真实执行表现真实资金、真实权限和生产数据不可碰方案沙箱账本、影子账户、mock 支付、只读查询、审批工具难点Agent 会“投机取巧”表现删除断言、绕过步骤、修改测试预期来通过方案hidden tests、断言强度检查、diff 审核、禁止弱化关键断言难点评测集污染表现Agent 记住标准答案或 prompt 泄露测试答案方案私有隐藏集、定期换题、任务模板化变体、答案隔离难点指标和业务价值脱节表现分数上涨但线上问题没有减少方案指标绑定真实缺陷、事故、逃逸率、人工节省和发布阻断收益9. PoC 设计PoC 1测试用例生成评测样本20 条真实需求 20 个历史 bug对照人工测试点、Agent 测试点、历史遗漏点成功标准关键风险召回率大于 80%可执行 case 占比大于 70%PoC 2UI Agent 评测样本3 条核心 Web 流程简单/中等/复杂各一条候选Playwright Test Agents、Playwright MCP、Midscene、UI-TARS、Computer Use成功标准重复执行成功率、失败证据、脚本维护成本优于当前基线PoC 3API / 流程 Agent 评测样本10 到 20 个 API 1 条下单支付退款链路候选OpenAPI、Arazzo、Schemathesis、Agent workflow成功标准发现 schema/边界/状态机问题流程可重放PoC 4资损评测样本支付、退款、优惠、账务流水沙箱模型注入重复请求、回调乱序、超时、并发、跨日对账成功标准重复扣款、超额退款、账务不平等风险可被检出PoC 5Agent Eval 平台最小闭环建设dataset manager、runner、trace、grader、dashboard 五个最小模块样本50 条混合任务成功标准任意 Agent 版本变更后可一键回归并生成对比报告10. 落地路线图第 1 阶段0 到 1 个月明确被测 Agent 和首批高价值场景建立 50 条评测样本和基础 rubric打通 eval runner、trace、基础报告先做离线评测不接强门禁第 2 阶段1 到 3 个月补齐规则型 grader、执行型 grader 和人工复核流程接入 UI、API、代码、日志、DB 等关键工具形成 smoke/daily/release 三层评测对模型、prompt、工具版本做横向对比第 3 阶段3 到 6 个月接入发布门禁和 Agent 发布流程建立失败样本回流和问题闭环机制扩展到资损、数据质量、生产 synthetic monitoring形成业务域排行榜和风险看板第 4 阶段6 到 12 个月建设企业级评测平台支持多 Agent、多模型、多工具、多业务域统一评测接入线上抽样、漂移监控和自动回滚建议形成质量工程知识库和不变量库11. 交付物评测体系设计文档评测集字段规范指标与评分规则说明Grader 设计说明PoC 实验报告模板Agent 版本对比报告模板失败分类与改进闭环模板平台架构和模块边界说明