智体技能评估与演化:框架与基准

发布时间:2026/7/9 15:14:32
智体技能评估与演化:框架与基准 26年6月来自Rutgers大学和北卡大学夏洛特分校的论文“Agent Skill Evaluation and Evolution: Frameworks and Benchmarks”。智体Agent能力的提升彻底改变了智体系统的构建、评估与部署方式。随着技能库规模的不断扩大严谨的评估对于确保技能在实际应用中的效用、质量与安全性至关重要。因此该领域正经历一场新兴的范式转变从孤立的技能创建转向自动化的、以评估为驱动的技能演进。本综述系统性地探讨了超越基础技能创建阶段的技能演进与评估图景。技能演进归纳为四种截然不同的范式——涵盖执行反馈、轨迹蒸馏、压缩及强化学习——并阐述了各要素如何助力提升技能的效用与可靠性。此外还分析六类以技能为核心的基准测试指出基准测试在覆盖范围、权衡取舍及指标丰富度方面存在的结构性不足旨在推动技能相关研究的进一步发展。最后指出构建具备泛化能力、高效性及可验证安全性的技能生态系统所面临的未来研究方向。引言智体技能Agent skills在推理阶段为大语言模型LLM智体赋予特定领域的知识使其能够利用各种外部工具感知环境并与之交互Zhang et al., 2025。与提示工程Wei et al., 2022; Brown et al., 2020不同智体技能封装了可复用、可迁移且包含多步骤的解决方案这些技能引导智体通过协同的决策序列来处理复杂任务从而大幅减少了繁琐的人工操作。随着智体技能的规模和多样性不断增长Liang et al., 2026b; Li et al., 2026b缺乏稳健的评估框架已成为制约技能驱动型智体部署的关键瓶颈。同时技能的多样性使得人工优化变得不可行而缺乏能够捕捉现实世界反馈的演化机制进一步加剧了这一挑战Zhang et al., 2026a。过时或不安全的技能可能会在下游任务中引发错误传播使技能评估演变为一个涉及诊断、维护和对齐的开放性难题。因此建立针对智体技能的自动化与持续演化机制而非依赖静态流程至关重要以确保技能具备跨任务的泛化能力并经得起安全验证以供公开使用。本综述将技能演化与评估视为这一新兴范式的核心焦点如图1所示。具体而言提出一种包含四种范式的技能演化策略分类体系。探讨如何设计演化策略以便在减少人工投入的同时提升技能的创建、效用及优化水平。此外还对以技能为中心的基准测试进行深入分析探讨其在多模态技能、轨迹蒸馏及技能安全性方面的潜力旨在推动智体在现实世界中实现更有效的部署。什么是技能智体技能是一种结构化包裹Li2026bS (C, π, T, R)。其中C : O × G → {0, 1} 是条件函数将智体的观测 (O) 和目标 (G) 映射为技能的相关性π 是编码具体操作步骤的执行策略T 是终止准则用于确定技能何时执行完毕R 是可重用接口用于指示该技能与其他技能的组合方式。人工编写的技能将领域专长封装为机器可理解的过程性知识Li2026b。为了加速这一过程自动化技能创建技术使智体能够在减少人工编写工作量的情况下生成技能。例如Skill Creator (Anthropic, 2026) 仅需极少的人工文本描述即可自动创建完整的技能目录和测试用例。同样Voyager (Wang2023) 将技能创建为可执行代码其流程包括提出任务、利用环境反馈优化代码、自我验证以及更新技能库。为了更好地创建可重用技能强化学习 (RL) 被整合到训练循环中其中在后续任务中重用技能所获得的奖励会被反向传播以更新策略。受组相对策略优化 (GRPO) (Shao2024) 的启发SAGE (Wang2025) 利用来自组任务的可重用奖励鼓励智体学习并创建可重用技能。ARISE (Li2026c) 保留成功的推理模式以训练智体生成可重用技能从而克服 GRPO 将每次采样轨迹rollout视为独立事件的局限性。高效的技能使用策略涵盖了检索、路由和管理三个方面。针对每一项任务智体往往无法加载所有潜技能来评估其适用性因为这会消耗过多的时间和 Token。为解决这一问题(a) 检索从庞大的技能池中筛选出一小部分相关技能(b) 路由在检索之后高效地决定在哪个步骤执行哪项技能 © 管理层负责确保各项技能条理清晰、保持最新且使用安全。这些使用机制构成演进与评估框架运作的基础。技能演化技能演化是一个持续的过程旨在通过从过往成功与失败的模式中学习来提升技能质量从而获得与时俱进的能力Zhang et al., 2026a。随着技能数量的不断增加依靠人工进行技能优化已变得越来越不切实际。这一挑战促使人们探索自动化策略即利用技能执行记录包括丰富的反馈信号和任务求解轨迹来进行优化Ni et al., 2026。这些原始的执行信号和轨迹往往包含噪声其中既有成功的步骤也混杂了无关或失败的步骤。因此要实现可靠的技能演化关键在于捕捉跨越多个轨迹的可复用执行模式而非仅仅关注单个行为Zhang et al., 2026a。此外不断扩充的技能库可能会引入冲突内容导致存储冗余、Token 消耗过大以及泛化能力下降等问题Wang et al., 2026a; Gao et al., 2026; Zhang et al., 2026b。为应对这些挑战概述几种演化策略这些策略主要基于学习信号的来源与粒度进行区分执行反馈Execution feedback基于单次运行的步骤级信号轨迹蒸馏Trajectory distillation基于多次运行的序列级模式压缩与增强Compression augmentation基于库级结构强化学习Reinforcement learning则基于任务级奖励。这些范式并非互斥但它们代表了当前领域内主流的设计选择。进一步梳理并分析现有演化范式与基准测试的适配情况重点探讨其中的权衡取舍及实践指导原则旨在为未来研究提供启示。执行反馈技能执行记录能为技能改进提供宝贵的反馈信号其中包括运行时错误、错误输出、未满足的任务规范以及执行路径等信息。受人类重写行为的启发一种直观的方法是构建自动化循环机制先执行现有技能通过执行反馈观察失败模式随后重写该技能以防止此类失败再次发生。执行反馈既可以来自明确的信号Liu et al., 2026b; Zhang et al., 2026a; Tian et al., 2026; Si et al., 2026; Jin et al., 2025a; Ju et al., 2026也可以来自隐式的执行反馈Yang et al., 2026; Ma et al., 2026; Yang et al., 2026这两者对于指导技能演化都至关重要。技能演化的可追踪信号源自真实的工程活动能够揭示用户意图、智体工具调用以及具体的错误模式。这些信号对于自动检测、诊断和修正有缺陷的技能至关重要。例如SKILLFORGE (Liu et al., 2026b) 通过检测执行行为与参考行为之间的差异来创建新技能。具体而言SkillForge 生成结构化的失败记录以识别系统性模式从而减少了人工重写和验证的需求。为了支持多轮对话COEVOSKILLS (Zhang et al., 2026a) 使智体能够减少人机认知偏差并生成优于人工策划技能的自演化技能。特别针对执行失败的技能它引入一个验证器能够提供关于根本原因分析和修改建议的直接反馈。利用丰富的环境反馈可以进一步增强技能的可靠性。EMBODISKILL (Ju et al., 2026) 通过与环境交互利用智体执行反馈生成包含动作、观测和最终奖励的轨迹。与依赖真实执行反馈不同SKILLS-COACH (Tian et al., 2026) 在合成案例上执行技能以获取演化反馈。Skills-Coach 生成种子技能的多个重写版本得分最高的重写技能作为改进技能指令的成功信号而失败轨迹则用于调整技能脚本以防止故障再次发生。同样CTX2SKILL (Si et al., 2026) 通过根据参考文档生成合成诊断问题来从反馈中学习。即使缺乏明确的执行信号用户在不同对话中表现出的偏好如语气、术语或写作习惯对于改进技能演进依然极具价值。交互轨迹中蕴含着丰富的信号其中包含可复用的知识。AUTOSKILL (Yang et al., 2026) 将用户的交互视为技能演进的主要信号它不局限于单纯的失败修正而是将用户偏好转化为明确的能力从而实现智体行为的个性化。同样SKILLCLAW (Ma et al., 2026) 利用关键轨迹中异构的用户经验这些轨迹反映不同用户与工具及工作流进行交互的方式。综合上述关于执行反馈的研究“结构化故障模式”已成为一个重要的设计考量因素。与基于原始轨迹运行的系统如 AUTOSKILL [Yang et al., 2026] 和 SKILLCLAW [Ma et al., 2026]相比那些将故障诊断与重写生成过程有效分离的系统如 SKILLFORGE [Liu et al., 2026b] 和 CO-EVOSKILLS [Zhang et al., 2026a]往往表现出更强的跨任务性能尽管目前尚缺乏直接的对比评估。显然反馈信号的效能本质上受限于执行环境的多样性而非部署环境——这一结构性制约因素在技能的设计与评估中值得特别关注。轨迹蒸馏通过轨迹蒸馏实现技能演进正日益受到关注其核心在于捕捉特定任务且可复用的模式从而通过序列化记忆来提升技能水平。例如SPARK (Zhou et al., 2026b) 探索了在线轨迹验证机制旨在从可执行的证据中提炼出强健的技能它引入了一项关键的轨迹级评估指标利用任务环境中的实际证据而非未经核实的先验规划来衡量技能表现。TRACE2SKILL (Ni et al., 2026) 通过分析成功与失败案例生成针对性的修正补丁进而更新技能并将冗余的修正内容合并为一个无冲突的统一技能文件。MEMENTO-SKILLS (Zhou et al., 2026a) 引入了一种用于技能演进的“读-写”反思循环路由模块检索相关技能以供执行智体则根据执行反馈更新这些技能从而实现迭代优化与长期的行为记忆。为了扩展数据模态XSKILL (Jiang et al., 2026) 将技能学习建立在视觉观测之上捕捉视觉状态与决策之间的关联该方法通过视觉摘要提取任务级技能并通过对成功与失败案例进行跨轨迹评估来获取动作级经验最终通过合并与精炼将两者整合进统一的技能库中。压缩与增强随着技能库的迅速扩张技能间的重叠与冲突往往导致冗余探索及泛化能力不足Wang et al., 2026a; Liang et al., 2026b。因此技能压缩与增强对于减少重复、获取互补知识以及探索可靠技能显得愈发重要。SKILLNET (Liang et al., 2026b) 允许社区基于 GitHub 仓库和办公文档创建、评估并关联智体agent技能。由此生成的技能相似度关系图成为判断现有技能应被复用还是合并的关键依据。然而SkillNet 并未明确定义技能类别以支持其演化。为解决这一问题SKILLX (Wang et al., 2026a) 基于执行轨迹构建一种多类别的技能演化机制通过合并相似技能、分解复杂技能以及评估泛化能力来实现这一目标。为了扩大覆盖范围SkillX 优先关注那些探索不足或易导致失败的工具并合成新任务以获取和验证新技能从而提升技能的质量、丰富度与覆盖面。SKILLFOUNDRY (Shen et al., 2026) 采用知识驱动的方法进行技能增强构建一种树状结构该结构中的每个节点均追踪引用关系与现有技能以便优先探索那些尚未充分开发的路径。这种结构能够挖掘异构科学资源并将其转化为可执行的技能。此外SKILLREDUCER (Gao et al., 2026) 将技能演化重新定义为内容清理过程它通过精简过长的技能描述并将技能重组为可操作的规则与引用在保留核心知识的同时降低 Token 开销。随着这些技能进入部署阶段一个极具前景的研究方向是将压缩与增强决策建立在实时信号如检索频率和运行时失败率之上而非仅仅依赖离线设计。强化学习RLRLLi et al., 2026c; Zhou et al., 2026c已成为一种原则性方法用于使大语言模型LLM智体与任务执行奖励对齐并推动可靠的技能演化Wang et al., 2023, 2024; Jin et al., 2025b。然而标准强化学习在每次更新时仅针对单一任务提供奖励而技能的真正价值在于其跨任务的可重用性Tu et al., 2026。为了获得稳定的奖励D2SKILLTu et al., 2026利用 GRPO 中的多重采样multiple-rollout策略使策略智体能够生成具有高度可重用性的技能。针对每个任务LLM 智体会检索最相关的技能并进行两次运行一次使用检索到的技能另一次不使用。这两次运行之间的成功率差异带来了更稳定的奖励并提升了技能的可重用性。此外SKILLRLXia et al., 2026同样利用 GRPO 并结合成功与失败信号通过收集多次运行的轨迹来更新技能检索与精炼策略它通过识别失败模式来推动针对性的技能修订。然而这些研究Tu et al., 2026; Xia et al., 2026将技能检索、利用和演化视为独立的组件这可能导致并发更新时出现冲突。SKILL1Shi et al., 2026通过统一的协同演化克服了这种碎片化问题它训练单一策略在单次运行中联合执行技能搜索、选择、任务求解和技能演化。总体而言基于强化学习的技能演化领域呈现出清晰的发展脉络。这些方法依赖于任务级奖励而此类奖励往往会将技能质量与智体能力混为一谈因此尚不明确性能提升究竟源于技能演化还是模型本身的改进。以技能为中心的评估与基准测试评估在智体agent技能生命周期中至关重要因为技能在用户之间不断被创建、演进和共享。若缺乏严格的评估便难以公正地评判技能的质量与安全性。原则上技能评估应发挥以下作用(1) 验证综合任务执行表现(2) 在公平环境下比较不同技能(3) 进行安全审计以便在技能部署前发现有害行为。用于衡量智体技能实际表现的“以技能为中心”的基准测试。表2将其归纳为六大类。此外纳入一些并非专为技能评估设计、但仍适用于评估智体技能的通用领域基准测试。表2揭示三个值得系统性研究的结构性差距。首先效用utility和安全safety基准测试涵盖11个专业领域和581个可审计包而生成generation基准测试仅涵盖15个子领域及20项核心任务。其次现有的基准测试均未评估技能的纵向演进即追踪技能在多轮反馈中是否有所改进而非仅仅衡量某一时刻的静态表现。第三评估指标主要采用二元制通过/失败忽略诸如Token成本、延迟和错误类型等操作层面的因素。这些差距与基准测试本身一样应成为指导未来研究的方向。技能效用基准测试技能效用始终是评估技能如何提升智体任务完成表现的首要标准Li et al., 2025a; Zhang et al., 2026a; Gao et al., 2026。SKILLSBENCH (Li et al., 2026b) 涵盖11个专业领域的86项人工构建任务并配备确定性验证器。基于7,308条执行轨迹和7种智体模型配置的测试显示使用精选技能可将平均通过率提升16%具体增幅从软件工程领域的4.5个百分点到医疗保健领域的51.9个百分点不等。此后SkillsBench已成为后续扩展评估范围的基准测试的重要来源。例如Skill-Tester (Wang et al., 2026c) 同时衡量效用与安全性而 SkillRouter (Zheng et al., 2026) 则评估技能检索与重排序的效果。此外SKILLCRAFT (Chen et al., 2026) 侧重于考察智体agent能否跨任务重用其构建的工具组合。具体而言SkillCraft 引入长程long-horizo​​n工具使用任务其难度在两个维度上进行扩展一是“数量维度”即增加智体处理步骤的数量二是“结构维度”即通过将子任务组合成更深层的工作流来延长工具调用链。该框架的一个显著特点是智体能够将成功的工具序列封装为可重用的技能以供后续任务使用。迄今为止工具调用成本、延迟以及推理质量仍是尚未得到充分研究的因素未来的基准测试应当明确关注这些方面。技能生成基准测试技能生成基准测试提供对技能质量的量化评估鉴于如今人工质量评估日益困难这种量化评估显得愈发重要。随着技能生成数量达到数百个及早识别低质量技能有助于减少 Token 消耗。SKILLLEARNBENCH (Zhong et al., 2026) 包含涵盖 15 个子领域的 20 个依赖技能的任务每个任务都有多个变体具有相同的任务结构但输入值不同从而能够评估超越“单次成功one-shot success”范畴的技能重用能力。SkillLearnBench 的研究表明外部执行反馈对于技能改进至关重要因为它能有效防止错误的累积。为了更好地评估技能生成研究工作应重点考察技能文档质量、执行过程与既定步骤的一致性以及任务完成的成功率。技能检索与路由基准测试技能路由与检索基准测试侧重于评估技能使用的有效性与准确性。有效的技能检索方法必须能够区分高度相似near-duplicate的技能而设计良好的路由机制则应能为各项任务协调匹配合适的技能。SKILLROUTER (Zheng et al., 2026) 包含约 8 万个技能以及 75 个经专家验证的查询请求。 SkillRouter 的研究表明仅使用技能名称和描述会导致路由准确率下降 31% 至 44%与使用完整技能内容相比。SRA-BENCH (Su et al., 2026a) 将技能增强过程分解为检索、融合和应用三个独立阶段该基准将 636 个由人工编写的“黄金技能”混入一个包含 26,262 个从网络收集的技能语料库中并将其与 5,400 个能力密集型任务实例源自 TheoremQA、LogicBench、ToolQA、MedCalc-Bench、CHAMP 和 BigCodeBench进行配对。AGENTSKILLOS BENCHMARK (Li et al., 2026a) 则将评估重点转向“编排”能力即如何协调多种技能共同完成一项任务该基准构建了 30 个包含丰富产出物artifact的任务涵盖数据计算、文档创建、视觉设计和网页交互等领域。在涵盖 200 到 20 万个技能的生态系统规模下进行评估时这种协同调度机制在使用相同技能集的情况下表现远优于单一技能方法。技能安全审计基准随着恶意技能可能危及用户数据、劫持执行流程并隐蔽地降低智体agent的行为质量技能安全威胁正变得日益系统化。SKILL-TESTER (Wang et al., 2026c) 通过执行候选技能来综合评估其效用与安全性并报告综合安全评分及三级状态标签如安全、警告或不安全使用户能够权衡性能收益与已知风险。SKILLGUARDBENCH (Lv et al., 2026) 将每个技能视为一个包含多个文件的包并将其标记为良性、可疑或恶意。该基准构建于五个评估维度下的 581 个包之上风险样本涵盖三种常见的攻击模式隐蔽覆盖hidden override、伪装转移disguised transfer和远程引导remote bootstrap。除了技能审计外SKILL-INJECT (Schmotz et al., 2026) 将威胁模型转向运行时漏洞测试智体是否会执行嵌入在看似合法的技能中的恶意指令。尽管安全审计基准已取得进展但它们通常将安全性视为一次性准入关卡而未充分考察技能在安装后及随着库library演变过程中的行为表现。软件工程基准软件工程领域技能数量的增长要求建立更严格的基准测试体系。目前的评估工作高度依赖公共代码仓库导致对实际工程应用场景的探索尚显不足。SWE-SKILLS-BENCH (Han et al., 2026) 通过将 49 个公开的软件工程技能与 GitHub 仓库相关联并在 565 个自动化任务实例上进行评估在弥合这一差距方面迈出了重要一步。该基准依赖于公开维护的技能和特定提交commit版本的仓库因而具有良好的可复现性然而它在本质上忽略了专有工作流、遗留代码库以及不断演变的工程实践。未来的基准测试应顺应这一趋势纳入与行业合作伙伴共同构建的任务集、动态仓库状态以及能够衡量维护开销、错误恢复率和 Token 效率的评估指标。与此同时根据技能的构建来源即“作者身份”对技能进行分层为推动该领域从“实现层面的评估”向“架构层面的理解”发展提供了契机。真实环境基准测试在真实环境中评估智体agent的技能难以实现标准化但这一过程至关重要因为只有在动态、开放的场景中才能真正检验技能在实际部署中的就绪程度。WILDCLAW-BENCH (Ding et al., 2026) 将智体置于真实的个人助理环境中并运行 60 个由人工构建的原创任务涵盖生产力工作流、代码智能、社交互动及安全对齐等领域。用户可以提交其定制智体的运行结果从而使该基准测试成为一个由社区驱动的技能生态系统测试平台。同样SkillForge (Liu et al., 2026b) 引入一项包含五个真实云技术支持场景的基准测试涉及 1,883 个工单和 3,737 个任务。尽管这两项基准测试都推动真实环境下的评估工作但其封闭式的环境设计限制外部的可复现性以及不同方法间的横向比较。展望未来若能建立具备标准化任务接口的开放式技能执行环境并辅以可审计的技能库更新机制该领域将从中受益。反思与未来方向评估与演化正日益成为构建可信智体技能的基石。一个核心问题在于如何将异构经验——包括人工编写的指令、执行轨迹、用户反馈、工具调用及多模态观测——转化为可靠且可验证的知识。尽管近期已取得一定进展但在处理多模态技能、有效利用轨迹数据以及确保技能安全性方面仍面临诸多挑战这些问题亟需针对稳健的演化与评估框架开展系统性研究。主流技能框架多采用以文本为中心的程序化方案虽适用于语言、代码、文档及API相关任务却难以满足智体在多模态环境下的操作需求。丰富的多模态应用场景涵盖了桌面界面、网页、具身模拟器、机器人技术、医学影像以及基于视觉感知的科学工作流Zhou et al., 2025b。在此类场景中智体的正确行动不仅取决于文本形式的目标更高度依赖于视觉状态、空间布局、物体配置、界面affordances以及特定模态的约束条件Jiang et al., 2026。多模态技能应当能够识别目标视觉元素、解读当前状态并将其与技能描述的内容建立映射。XSkillJiang et al., 2026为基于动作层面和特定上下文的工具选择提供了深刻见解其技能构建了用于规划的任务级程序化知识。技能检索过程由视觉观测驱动而这些观测信息往往蕴含于过往的执行轨迹之中。在物理具身环境中技能演化可由环境交互产生的执行反馈驱动这些反馈反映了智体的动作、观测结果及获得的奖励Ju et al., 2026。然而针对跨模态技能的设计、评估与共享——即支持智体处理多样化现实世界感官输入的技能——目前尚缺乏充分研究。轨迹数据记录Zhou et al., 2026b; Ni et al., 2026对于拓展智体技能的实用性至关重要因为它们揭示了中间推理过程、工具选择、故障恢复尝试以及失效模式等关键信息。然而原始轨迹数据往往包含大量冗余信息与噪声。成功的轨迹可能包含无关步骤而失败的轨迹中也可能蕴含着有用的局部决策Ni et al., 2026。为了构建稳健的智体技能两种新兴的设计思路有望提升基于轨迹数据的知识蒸馏效率。首先蒸馏过程应针对成批的轨迹而非单次运行进行因为通过对比多条轨迹才能将可复用的模式与特定任务的噪声区分开来Ni et al., 2026。其次蒸馏过程可以是持续性的而非一次性的技能可作为一种动态演进的记忆通过迭代更新来适应环境变化Zhou et al., 2026b,a。若要充分挖掘轨迹数据的价值必须在质量、多样性和难度等维度上对数据进行明确筛选这对技能的演进至关重要。智体技能带来了一系列不容忽视的安全风险亟需进行系统性评估Wang et al., 2026c; Schmotz et al., 2026。恶意技能可能操纵大语言模型LLM泄露敏感数据、执行未经授权的指令或做出有害决策。有三种主要的技能投毒skill poisoning来源在技能演进过程中应尽早检测并严格防范第一直接指令投毒即将有害指令嵌入技能中导致执行时出现不安全行为第二提示词注入prompt injection即良性技能从包含恶意指令的不可信外部源获取内容第三失控的技能自我演进即通过不受监管的更新悄然移除现有的安全约束。此外从执行轨迹中蒸馏出的技能其本身或输出结果也存在无意泄露隐私的风险。在医疗保健和金融等安全攸关的领域此类风险尤为严峻因此在部署技能前必须实施人工监督。为防范此类技能投毒需要采取多层次的防御措施a) 建立追踪技能作者身份的公共信誉系统b) 对技能脚本实施细粒度的权限边界控制c) 要求在技能触发敏感操作前获得用户的明确确认。目前的演进与评估策略通常被视为相互独立的串行阶段即先对技能进行评估与判定随后进行演进而演进后的评估则需从零开始。随着规模的扩大这种关于流水线的假设变得越来越难以成立因为在每一轮演化周期后重新评估整个库的成本高得令人望而却步。两种新兴方法正试图从联合学习的角度弥合这一差距。SkillOS (Ouyang et al., 2026) 构建了一种由经验驱动的强化学习RL方案利用分组任务流将一个冻结的执行器与一个可训练的技能管理器skill curator结合起来。早期的轨迹数据用于更新技能库而后续的相关任务则立即评估这些更新这种机制使得评估过程成为训练循环内部结构化组件的一部分而非依赖外部评判者。与此同时SkillsVote (Liu et al., 2026a) 采用全生命周期治理的方法来解决同一问题通过对百万级规模语料库进行质量与可验证性分析来构建技能档案。该方法将执行后的结果归因于技能使用与环境信号并仅允许通过“证据门控”机制验证成功的发现进行更新从而证明了受控技能库即便在不更新模型参数的情况下也能提升“冻结”智体frozen agents的性能。要实现一个能够广泛适用于动态技能库的统一框架需要在三个关键方面取得实质性进展。首先技能库的设计必须包含明确的版本控制和依赖关系图以便在对某项技能进行局部更新时能自动测试其对下游任务的影响——SkillsVote (Liu et al., 2026a) 和 SkillX (Jiang et al., 2026) 的研究已对此进行了验证。其次评估信号应超越简单的“通过/失败”二元判定转向能够综合考量延迟、Token 消耗及泛化能力的复合奖励机制。SkillOS 的复合奖励设计和 SkillReducer 的 Token 效率设置已开始着手解决这一挑战 (Gao et al., 2026)。第三技能管理器curator必须具备跨执行器骨干网络executor backbones和任务领域的泛化能力。SkillOS (Ouyang et al., 2026) 在多轮与单轮推理场景中已通过实证展示了这一点但目前尚无基准测试将跨领域管理器的泛化能力作为评估目标。综合来看这些方向表明需要将技能库从静态存储库重构为更具动态性、受监控的基础设施使演化与评估成为共享的持续学习过程中的两个相辅相成的方面 (Gao et al., 2025b)。