如何给Agent技能写好触发描述Yao Meta Skill的触发器评测与描述优化实战【免费下载链接】yao-meta-skillYAO Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.项目地址: https://gitcode.com/gh_mirrors/ya/yao-meta-skillYao Meta SkillYAO Yielding AI Outcomes是一套面向可复用 Agent 技能Agent Skill的工程化系统其中最容易被新手忽视的一环就是写好技能的触发描述Trigger Description。触发描述写在SKILL.md的 frontmatter 里决定了 Agent 什么时候该出手、什么时候别多管。本文将带你快速上手如何写触发描述、如何跑触发评测、如何做描述优化全程以 SKILL.md 和 evals/ 目录下的真实案例为参照。一、为什么触发描述比技能正文更重要很多人以为写好技能正文步骤、模板、规则就算完成了一个 Agent 技能其实路由靠的是 frontmatter 里的那一行description。描述太窄 → 用户换一种说法技能就漏触发假阴性描述太宽 → 用户只是要总结/翻译/头脑风暴技能却误触发假阳性Yao Meta Skill 自己的演进就是活例子两份描述可以直接对比版本描述内容字数基线版Create and improve agent skills.8 词优化版Create/improve/evaluate agent skills from workflows, prompts, SOPs, scripts. Use for migration/release/package, routing, evals/tests, install checks, 优化已有 skill, 补 trigger 评测. Exclude no-skill summary/translation/docs.54 词基线版evals/baseline_description.txt优化版evals/improved_description.txt可以看出优化版做对了三件事① 列出输入来源workflow、SOP、脚本② 列出高频触发场景迁移、发布、评测③明确排除项纯总结/翻译/文档。这 54 个词就是触发描述写作的最小完整范式。二、写好触发描述的 4 个要点结合 evals/semantic_config.json 中的语义配置新手可以照着这 4 步写动词开头覆盖同义表达如 create / improve / evaluate / package / migrate a skill中英文都要写如优化已有 skill补 trigger 评测给出输入来源workflow、runbook、SOP、对话记录、零散笔记……让 Agent 知道原材料长什么样给出触发场景安装检查、发布打包、路由优化、评测补充等越具体越不容易被相邻技能抢走请求显式排除Exclude这是新手最常漏掉的一步。明确写Exclude no-skill summary/translation/docs把纯解释、纯总结、纯翻译挡在门外 记住一个心法触发描述不是给技能做广告而是给它划边界。三、用触发评测验证描述触发器评测Trigger Eval实战描述写得好不好不能靠感觉要靠触发用例集说话。项目把评测语料放在 evals/trigger_cases.json按家族family打了标签分为三大类应触发should_trigger如Create a skill from this repeated workflow.不应触发should_not_trigger如Summarize this workflow and list the main points only.近邻干扰near_neighbor最难的一类如Improve this README but do not turn it into a skill.—— 措辞像建技能实际只要文档跑一条命令即可评测你的描述python3 scripts/trigger_eval.py --description-file evals/improved_description.txt --cases evals/trigger_cases.json配套的语义打分规则正/负概念词库 权重在 evals/semantic_config.json 中定义比如不要做成 skill先不要封装这类否定指令的权重高达 0.42因为一句别建技能必须一票否决。当前评测结果见 README.md 的 Results 面板66条提示词、21个家族0 假阳性、0 假阴性precision/recall 均为 1.0。完整数据在 reports/eval_suite.json 和 reports/family_summary.md。四、描述优化用盲测 对抗测试防止过拟合只在一套用例上调描述很容易背答案。所以 Yao Meta Skill 把评测集拆成了四层形成严格的**描述优化Description Optimization**流程数据集目录作用train / dev / holdoutevals/train/、evals/dev/、evals/holdout/dev 用于候选排名holdout 验证不回归blind_holdoutevals/blind_holdout/盲测不参与排名只用于验收adversarialevals/adversarial/对抗噪声正例 欺骗性请求检验边界核心脚本是 scripts/optimize_description.py生成并打分候选描述和 scripts/judge_blind_eval.py用独立评分规则做第二意见。一键跑完整套件python3 scripts/run_description_optimization_suite.py生成的排名与准出报告在 reports/description_optimization.md。当前结果中Current优化版描述在所有关卡上 FP/FN 均为 0而更短的Minimal候选在 dev 上就出现 1 误报 1 漏报——更短不等于更好更准才是目标。晋升门槛什么时候才允许换描述evals/promotion_policy.md 定义了硬性晋升门槛dev 排名领先只是第一步还必须在可见 holdout、盲测 holdout、对抗 holdout 上都不回归路由混淆route confusion保持干净且没有新的失败家族。三个结论✅Promote全部门槛通过⏸️Keep Current只在 dev 上好或某个 holdout 回归⛔Block对抗风险变成 overlap、抢了兄弟技能的路由这套机制防止描述看起来优化了其实只是过拟合了一小撮测试题。五、常见坑新手最容易翻车的 3 类触发边界项目在 evals/failure-cases.md 中把已知弱点了公开存档写触发描述前值得先看一眼一次性请求Create a one-off prompt for this task. —— 用词和技能创建高度重叠但用户明确不要可复用包文档改进请求Improve this README but do not turn it into a skill. —— 有转换措辞但没有封装意图早期头脑风暴Help me brainstorm process ideas without building a skill. —— 贴着技能设计但仍在探索阶段应对方法把这些用例放进near_neighbor类别持续回归并在描述里写清 Exclude 项。更系统的反模式案例库在 failures/包含文档导出 vs Agent 技能只解释不封装等可机检用例。六、小结一张表带走核心要点步骤做什么对应资产1️⃣ 写描述动词 输入来源 场景 排除项evals/improved_description.txt2️⃣ 建用例按家族标注 should / should_not / near_neighborevals/trigger_cases.json3️⃣ 跑评测用触发器评测脚本打分scripts/trigger_eval.py4️⃣ 做优化dev 排名 盲测/对抗验收scripts/run_description_optimization_suite.py5️⃣ 定去留按晋升门槛决定换不换evals/promotion_policy.md写好 Agent 技能的触发描述本质就一句话先用数据定义边界再用四层评测守住它。想进一步动手可以从 README.md 的 5-Minute Workflow 和 docs/README.zh-CN.md 中文文档开始。【免费下载链接】yao-meta-skillYAO Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.项目地址: https://gitcode.com/gh_mirrors/ya/yao-meta-skill创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考