文章摘要没有黄金测试集RAG优化只能依赖开发者临时提问和主观感受。一个可用的测试集应同时包含真实问题、标准答案、正确证据、允许的答案范围、禁止错误和Metadata条件。本文给出企业RAG黄金测试集的字段设计、数据来源、标注流程、难例构造、版本管理、自动化指标和CI回归方案帮助团队判断每次模型、分块或检索策略变更到底是提升还是退化。一、为什么RAG必须有固定测试集很多团队这样调试换一个Embedding → 随便问5个问题 → 感觉回答更好 → 上线这种方法无法回答简单问题变好了吗复杂问题是否退化旧版本制度是否误召回权限过滤是否失效成本是否上升模型是否更容易幻觉某次Prompt调整是否影响引用。黄金测试集提供稳定基线相同问题 相同标准 不同系统版本 → 可比较结果二、测试集不能只有“问题和答案”最小字段{case_id:RAG-001,question:一线城市住宿标准是多少,expected_answer:500元/晚,evidence_ids:[TRAVEL-V3.2-4.2]}企业场景还应增加{case_id:RAG-001,category:制度问答,difficulty:MEDIUM,question:一线城市普通员工住宿标准是多少,expected_claims:[普通员工标准为500元/晚],acceptable_variants:[每晚500元,住宿上限500元],required_evidence_ids:[TRAVEL-V3.2-4.2],forbidden_claims:[所有城市均为500元,总监级也执行500元],tenant_id:T001,effective_date:2026-07-01,tags:[数字,条件,版本]}三、测试问题从哪里来优先级建议1. 真实用户日志价值最高因为反映真实表达。处理时要脱敏去除姓名和联系方式删除无权限内容合并重复问题标记是否获得满意答案。2. 客服和售后FAQ包含高频问题和标准口径。3. 产品与实施人员他们知道容易理解错的规则历史版本冲突客户经常追问的条件哪些回答会导致交付风险。4. 文档反向生成可以让模型根据文档生成问题但必须人工审核。模型生成适合补充覆盖不应成为唯一来源。5. 线上失败案例每个真实失败都应转成回归用例。流程线上错误 → 定位根因 → 修复 → 加入黄金集 → 防止再次出现四、问题类型要覆盖哪些维度1. 直接事实系统支持哪些登录方式2. 条件事实哪些员工可以申请商务舱3. 多跳问题华东区域经销商申请退货需要哪些审批答案可能来自多份文档。4. 否定问题哪些情况不能自动核销5. 数字问题接口默认超时时间是多少6. 版本问题2026年5月之后执行哪个标准7. 无答案问题公司明年会不会调整补贴系统应拒答而不是推测。8. 权限问题同一查询不同角色应看到不同内容。9. 冲突问题测试系统能否识别旧版和新版不一致。10. 噪声问题用户输入错别字、口语和无关背景。五、如何标注正确证据不能只标注文档级别。建议精确到文档ID 版本 章节 Chunk ID 页码 条款号例如{document_id:TRAVEL-POLICY,version:V3.2,section:4.2,chunk_id:TRAVEL-V3.2-4.2-01,page:12}这样才能评测是否召回正确文档是否召回正确Chunk正确证据排第几引用是否真实支持答案。六、标准答案不要写得过死自然语言可能有多种正确表达。不要只用字符串完全相等期望500元/晚 实际每晚住宿上限为500元两者语义相同。建议拆成Claim{expected_claims:[{subject:普通员工一线城市住宿标准,value:500,unit:元/晚}]}然后评估Claim是否出现数值是否正确条件是否完整是否增加了错误事实。七、如何构造困难样本1. 相似文档同一主题存在多个文档。2. 新旧版本正确答案只在新版。3. 条件分散条件在父段结论在子段。4. 表格答案答案位于表格交叉单元格。5. 同名字段不同产品都有“状态”字段。6. 无答案但高度相关知识库讨论了主题却没有用户要求的具体数字。7. 权限隔离正确文档属于另一个租户必须排除。八、测试集规模从多少开始建议最小可用50—100条 初步稳定300—500条 关键生产1000条以上不要一开始追求数量。先覆盖最高频问题最高风险问题最容易答错的问题权限和版本问题。九、检索层指标RecallK正确证据是否进入Top K。Recall5 Recall10MRR正确证据第一次出现的位置。nDCG适合多个相关证据和分级相关性。Answer-Bearing Recall召回的片段是否真正包含答案而不只是主题相关。这是企业RAG非常重要的指标。十、生成层指标正确性答案是否包含预期Claim。忠实度答案是否全部被证据支持。完整性是否遗漏关键条件。引用准确率引用的证据是否支持对应结论。拒答准确率无答案问题是否正确拒绝。格式成功率JSON或固定结构是否有效。十一、LLM-as-a-Judge怎么使用模型评分适合处理自然语言差异但不能单独作为最终标准。Judge Prompt应提供问题 标准Claim 证据 实际答案 评分规则输出{correctness:4,faithfulness:5,completeness:3,unsupported_claims:[],missing_claims:[仅适用于普通员工]}需要定期人工抽检Judge一致性。十二、自动回归脚本结构fromdataclassesimportdataclassdataclassclassEvalResult:case_id:strretrieval_recall:floatanswer_correct:boolfaithfulness:floatlatency_ms:intinput_tokens:intoutput_tokens:intdefrun_case(case,rag_system)-EvalResult:responserag_system.ask(questioncase.question,tenant_idcase.tenant_id)returnevaluate(casecase,responseresponse)汇总总通过率 按类型通过率 检索Recall 答案正确率 忠实度 拒答准确率 P95延迟 平均Token十三、CI/CD如何设置门槛例如总体正确率不得下降超过1% 高风险用例必须100%通过 权限用例必须100%通过 忠实度不得低于0.92 P95延迟不得上升超过20% 平均Token不得上升超过15%如果不达标阻止发布 → 输出失败用例 → 对比上一个版本十四、测试集版本管理测试集也要版本化rag-eval-v1.0 rag-eval-v1.1每条记录创建人审核人来源修改原因文档版本生效时间。文档更新后标准答案和证据也可能需要更新。十五、避免测试集污染如果同一模型已经看过完整测试答案评测结果可能失真。注意不把测试集混入知识库不在Prompt示例中泄露答案区分开发集和最终测试集保留一批隐藏用例定期加入新失败案例。十六、团队分工角色职责业务专家判断答案和风险产品经理确认口径与范围数据人员构建和清洗用例开发人员自动化执行测试人员设计边界与异常安全人员权限和泄露用例黄金测试集不能完全由开发者独立完成。总结企业RAG黄金测试集应该同时包含真实问题 正确Claim 正确证据 禁止错误 权限和版本条件 稳定评分规则它的作用不是给系统打一个漂亮分数而是让每次分块、Embedding、检索、Reranker、Prompt和模型升级都能够被客观比较和自动回归。