RAG 现在几乎成了 AI 应用的标配。做个客服问答、知识库查询、文档助手第一反应都是套个 RAG。 Demo 阶段大家通常都挺满意问什么都能答回答还挺流畅。可一旦上了生产环境问题就来了——明明知识库里有却答不出来、检索到一堆不相关内容把回答带偏、更糟的一本正经地胡说八道。这时候老板问一句“你这 RAG 到底做得怎么样” 你怎么回答“感觉还不错”——这不是评估这是玄学。**RAG 做得好不好不能靠感觉得靠指标。**而且不能只看一个数。这篇文章就带你拆解 6 个核心指标看它们各自在挑 RAG 的什么毛病。01先搞懂一件事RAG 要分两段看RAG 本质是两步走的流程1. 检索Retrieval从知识库里找出和问题相关的资料。2. 生成Generation让大模型根据这些资料组织出回答。打个比方就像开卷考试检索是翻书找资料生成是根据资料写答案。最终回答不好可能是书没找对检索环节出问题也可能是找到了但答错了生成环节出问题。所以评估也得分两段外加一个抗压测试。下面 6 个指标就分别盯这几个环节指标评估环节一句话职责上下文召回率检索该找的都找全了吗上下文精确率检索相关的排在前面了吗上下文实体召回检索关键实体漏没漏忠实度生成回答有没有瞎编回答相关性生成回答跑题了吗噪声敏感度抗干扰混进垃圾会被带偏吗PART 1 · 检索环节检索是 RAG 的地基。地基不行上面盖得再漂亮也白搭。1上下文召回率 Context Recall直觉召回率关心的是有没有漏。一份资料该被找到却没找到后面生成模型再强也巧妇难为无米之炊。召回率 能被检索内容支撑的信息点数 ÷ 参考答案总信息点数▲ 该找的没找全就是召回率要抓的毛病✅ 高召回检索到巴黎“1889 年”两个信息点全覆盖 → 召回率 2/2 1.0❌ 低召回只检索到巴黎是法国首都漏掉关键年份1889 年 → 召回率 1/2 0.5 算召回率必须有标准答案做对照适合在标注了一批测试问题的场景下用。2上下文精确率 Context Precision直觉光找到还不够还得排得好。大模型能处理的上下文有限更关注排在前面的内容。相关资料被埋在一堆无关内容后面注意力就被消耗光了。所以精确率看的是相关的 chunk 有没有排在靠前的位置。精确率 Σ第 k 位精确率 × 该位是否相关 ÷ 前 K 个中的相关总数▲ 同样的结果相关卡在顶 vs 在底分数天差地别✅ 高精确率第 1 位是埃菲尔铁塔在巴黎相关无关内容排后面 → 精确率≈ 1.0❌ 低精确率第 1 位是勃兰登堡门在柏林无关相关被挤到第 2 位 → 精确率≈ 0.5召回率管找没找全精确率管排得好不好。想不漏可能牺牲精确想精准可能牺牲召回——所以两个都要看。3上下文实体召回 Context Entities Recall直觉召回率的特化版专门盯实体——人名、地名、机构名、时间、数字这类硬信息。在事实型问答里旅游、历史、医疗法律实体就是答案的灵魂。实体召回 检索与参考答案的共有实体数 ÷ 参考答案实体总数▲ 实体发光召回褪色遗漏专盯硬事实标准答案实体〔泰姬陵、亚穆纳河、阿格拉、1631、沙贾汗、泰姬〕共 6 个。✅ 高实体召回命中 泰姬陵、沙贾汗、阿格拉、泰姬 共 4 个 → 4/6 ≈0.67❌ 低实体召回“标志性建筑/世界遗产/吸引游客”——只命中 泰姬陵 1 个全是空泛形容词 → 1/6 ≈0.17通用召回率可能发现不了的问题实体召回一下就现原形。PART 2 · 生成环节检索的资料没问题不代表最终回答就一定好。一个管别瞎编一个管别跑题。4忠实度 Faithfulness直觉防幻觉的核心指标。它检查回答里的每一句陈述是不是都能从检索到的上下文里找到依据只要有一条是模型脑补的忠实度就要扣分。忠实度 能被上下文支撑的陈述数 ÷ 回答总陈述数▲ 每条陈述都要有出处断线的那条就是瞎编上下文爱因斯坦 1879 年3 月 14 日出生于德国。✅ 高忠实度回答3 月 14 日两条陈述都有依据 →2/2 1.0❌ 低忠实度回答3 月20日日期是编的 →1/2 0.5⚠️忠实度高 ≠ 回答正确。它只保证忠于检索到的资料。若资料本身就错或过时完全忠实的回答照样给错误信息。要和召回、精确配合看。5回答相关性 Answer Relevancy直觉相关性关心回答有没有对准问题。两种情况扣分答非所问跑题或啰里啰嗦塞一堆废话。注意它不评判事实对错只看回答和问题在意图上对不对得上。它用了一个相当巧妙的**“反向工程”**算法先从回答反推出它可能在回答什么问题再比较反推问题和原问题的相似度——越像说明原问题越能从回答里还原出来回答就越切题。回答相关性 N 个反推问题与原问题相似度的平均值▲ 好的答案光看答案就能猜出它回答的什么问题问题“法国在哪里首都是哪里”❌ 低相关“法国位于欧洲西部。”——只答了一半反推出的问题只涉及位置 → 相关性偏低✅ 高相关“法国位于欧洲西部首都是巴黎。”——反推问题同时涉及位置首都与原问题高度吻合 → 相关性高相关性和忠实度是两个独立维度可能很切题但胡说高相关低忠实也可能字字忠于资料却答非所问高忠实低相关。好的回答两者都要高分。PART 3 · 抗压测试真实环境里检索结果不可能每次都干净。RAG 稳不稳就看这个指标。6噪声敏感度 Noise Sensitivity直觉衡量系统在**有噪声无关或误导信息**的检索结果下犯错的倾向。好的 RAG 抵抗力强对垃圾内容不为所动差的一被带就跑偏。噪声敏感度 回答中的错误陈述数 ÷ 回答总陈述数 越低越好与其他指标相反▲ 能量盾弹开噪声卡就是抗干扰能力问题“印度人寿保险公司LIC以什么闻名” 检索结果里混进了一条噪声“印度经济是全球增长最快的主要经济体之一……”与问题无关。❌ 噪声敏感回答里冒出LIC 促进了国家的金融稳定标准答案没提是被带偏的错误陈述→ 3 条里错 1 条 0.33✅ 抗噪能力强只陈述标准答案要点不为噪声所动 → 错误陈述 0 条 0.002怎么用这些指标诊断问题光知道指标还不够关键是拿到分数后能定位问题、对症下药。给你一个简单的诊断思路第一步回答不对先看忠实度• 忠实度低 → 模型在瞎编查生成环节调 prompt、约束输出、换更强的模型。 • 忠实度 OK 但答案还是错 → 问题大概率在检索进入第二步。第二步往检索环节查•召回率低→ 漏检扩召回调大 top-k、改 chunk 大小、优化 embedding。 •精确率低→ 排序差加 rerank重排序模型把相关的顶上去。 • 通用召回还行但事实答不全 → 看实体召回定位是哪类实体系统性丢失。第三步上线前做抗压测试•噪声敏感度高→ 系统容易被无关内容带偏。加强检索过滤或在生成时明确要求只依据上下文回答。 记住一个原则不要只盯一个指标。召回和精确要权衡忠实和相关要配合单看一个数优化很容易按下葫芦浮起瓢。✓写在最后回到开头那个问题凭什么说你的 RAG 做得好凭的是——该检索的没漏召回率检索的排得对精确率关键实体没丢实体召回回答不瞎编忠实度回答切题相关性还能扛得住噪声噪声敏感度低有了这套指标做得好不好才从一个主观感受变成可以量化、可以对比、可以持续优化的客观标准。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】