1. 从45%到78%的质变一个RAG项目的真实困境与突围最近在做一个面向金融研报的智能问答系统核心需求很简单用户上传一份几十页的PDF研报然后可以针对报告内容进行自由提问。技术栈选型上我们毫不犹豫地选择了当时最火的RAG检索增强生成方案。听起来很美对吧把文档切片、向量化、存进向量数据库用户提问时先检索最相关的片段再喂给大模型生成答案。理论上这既能利用大模型的强大理解力又能保证答案基于文档事实避免“一本正经地胡说八道”。然而第一版系统上线内部测试时结果给了我们当头一棒。在精心设计的200个测试问题上系统的整体准确率只有惨淡的45%。这里的“准确率”我们定义得很严格答案不仅要在语义上正确还必须能从原文中找到明确依据且不能包含幻觉或无关信息。45%是什么概念差不多每两个问题就有一个答非所问、张冠李戴或者干脆自己编造。用户反馈非常直接“这AI是不是没睡醒”、“我要的是报告里的数据它怎么自己算了一个”。我们陷入了典型的RAG困境。拆开看检索环节似乎没问题BM25和向量检索混合使用召回的文本片段看起来也相关。问题出在“增强生成”这个环节。大模型就像一个不太靠谱的“学生”你给了它一堆参考资料检索结果但它可能只看了第一段就开始答题或者把几段不相关的内容强行糅合在一起甚至干脆无视你的参考资料凭借自己的“常识”和“训练记忆”自由发挥。更棘手的是对于“请比较A公司和B公司在第三季度的毛利率”这类需要综合、推理的问题传统的“检索-拼接-生成”流水线几乎束手无策因为它缺乏一个引导模型逐步思考、验证和整合信息的“大脑”。就在我们焦头烂额考虑要不要退回规则引擎的老路时团队开始系统性地研究一种被称为Agentic RAG的架构范式。经过一轮彻底的重构我们将系统从传统的静态流水线改造为基于智能体Agent的工作流。效果是颠覆性的在同样的测试集上准确率跃升至78%对于复杂推理类问题的提升尤为显著。这个过程中我深刻体会到Agentic 架构不是RAG的一个可选项而是在处理复杂、真实世界知识问答时走向实用化的“唯一解”。它解决的正是传统RAG在“理解-规划-执行-验证”这一认知链条上的结构性缺失。2. 传统RAG的“天花板”为什么45%可能已是极限在引入Agentic概念之前我们必须先理解传统RAG架构的瓶颈在哪里。一个经典的单轮RAG流程可以概括为“检索-增强-生成”三步走它本质上是一个开环系统。2.1 开环系统的脆弱性假设用户提问“腾讯2023年Q4的金融科技收入增长率是多少”检索系统将问题向量化从向量数据库中召回Top-K个比如5个最相关的文本片段。增强将这5个片段可能来自文档不同部分连同问题一起拼接成一个长长的提示词Prompt交给大模型。生成大模型基于这个提示词生成最终答案。这个流程的脆弱性体现在每一步检索即终点检索一旦完成系统就默认这些片段是“最佳”且“足够”的上下文。如果因为语义鸿沟比如用户问“营收增速”文档里写“收入同比增长”导致召回片段不精准或者关键信息被切分到了两个片段里后续流程没有任何纠正机会。模型“自由发挥”大模型面对一段冗长的、可能包含冗余甚至矛盾信息的上下文其生成过程是不可控的黑盒。它可能过度关注某个片段忽略其他更重要的也可能进行不受控的推理超出上下文范围。我们遇到过模型把“毛利率”和“净利率”数据混淆的情况仅仅因为它们在同一个段落中被提及。缺乏验证与迭代系统给出答案后流程就结束了。答案对不对依据是否充分系统自身没有能力判断更不会主动去修正。2.2 复杂查询的“死穴”传统RAG尤其不擅长处理多跳问答Multi-hop QA、比较性问答和需要复杂计算的问题。多跳问答例如“苹果公司2022年最大的供应商是谁该公司当年的营收是多少”这需要先找到“最大供应商”是富士康再跳转到文档中查找富士康2022年的营收。传统RAG一次性检索的上下文极难同时包含这两步的关键信息。比较性问答“对比A产品和B产品在安全性方面的主要差异。”这需要分别检索A和B产品的安全性描述再进行对比分析。模型需要执行“规划-检索-对比-总结”多个步骤而传统流水线只提供了一次性的、混合的检索结果。计算与推理“根据前三季度的数据预测全年趋势。”这需要模型先提取各季度数据理解其关系再进行数学或逻辑推理。传统RAG提供的静态上下文无法支持这种动态的思维过程。我们的测试准确率卡在45%很大程度上就是因为测试集中包含了相当比例的上述复杂问题。传统架构的天花板在这里触手可及。它就像一台没有反馈和调整能力的机器其性能上限在项目初期就已经被架构所锁定。3. Agentic架构核心为RAG装上“大脑”与“手脚”Agentic架构的引入彻底改变了RAG的运作范式。它不再将RAG视为一个固定函数而是将其分解为由一个“智能大脑”Agent协调的一系列“工具调用”Tools和“子任务”Sub-tasks。这个大脑的核心能力是规划、执行、观察、循环。3.1 智能体Agent作为调度中心在Agentic RAG中智能体是核心控制器。它的输入是用户原始问题输出是最终答案。但在这个过程中它不再直接处理文档而是学会“使用工具”。规划智能体首先分析用户问题将其分解为一系列可执行的子目标。例如面对“比较A和B的毛利率”这个问题一个经过良好设计的智能体可能会在内部生成这样的计划“1. 检索A公司最新的财务报告片段重点寻找毛利率相关描述和数据。2. 检索B公司最新的财务报告片段重点寻找毛利率相关描述和数据。3. 对比分析两者提取出的数据并总结差异。”工具调用智能体自身不具备检索能力但它知道可以调用“检索工具”。它会根据当前子目标动态地生成搜索查询Query。比如对于子目标1它可能生成“A公司 2023年 毛利率 营业利润率 财务报告”这样的查询词这比原始问题“比较A和B的毛利率”要精准得多。观察与迭代智能体调用检索工具获得结果后会“阅读”这些结果并判断是否足够回答当前子问题。如果不够它可以调整查询词重新检索或者决定是否需要进一步调用其他工具如计算器工具进行百分比计算。这个过程可以循环多次。3.2 关键组件工具Tools、记忆Memory与工作流Workflow工具Tools这是智能体的“手脚”。除了最核心的检索工具可集成BM25、向量检索、甚至混合检索通常还包括计算器工具用于处理“增长率”、“占比”、“平均值”等计算。代码解释器工具对于需要复杂数据处理或图表生成的任务。网络搜索工具在安全边界内当本地知识库信息不足时进行补充。文本总结/重写工具用于对长片段进行浓缩便于后续分析。 在我们的金融问答系统中我们就为智能体配备了检索、计算器和一个简单的表格解析工具。记忆Memory这是智能体的“短期工作记忆”。它主要分为两部分对话历史记住当前会话中已发生的问答实现多轮对话的连贯性。工作记忆在单次任务循环中记住之前步骤的中间结果。例如在比较A和B公司毛利率时智能体在完成对A公司的检索和分析后会将关键数据如“A公司毛利率为25%”存入工作记忆。当开始处理B公司时它能直接引用这个记忆而无需重新检索A公司的信息从而进行有效的对比。这是实现多跳推理和复杂分析的基础。工作流Workflow与路由Router对于复杂任务单一的智能体可能力不从心。高级的Agentic架构会引入多智能体协作和工作流引擎。例如可以设计一个“主控智能体”负责任务分解和调度它下面有“检索专家”、“分析专家”、“校对专家”等子智能体。主控智能体根据任务类型通过路由机制将子任务分发给最专业的子智能体执行。LangGraph、AutoGen等框架正是为了管理这种复杂的多智能体工作流而生。3.3 从开环到闭环ReAct与CoT模式Agentic架构的典型思维模式是ReActReason Act和Chain of ThoughtCoT的结合体。ReAct智能体的每一步都遵循“思考Reason-行动Act-观察Observe”的循环。例如“思考要回答全年趋势我需要先获取每个季度的数据。行动调用检索工具查询‘Q1 营收’。观察获得了Q1数据xxx。思考现在需要Q2数据...”。CoT整个推理过程在最终答案生成前对用户是透明的至少在开发调试阶段。这极大地提升了系统的可解释性和可调试性。当答案出错时我们可以回溯智能体的整个“思考链”看看是在哪一步做出了错误的判断或获得了错误的信息。正是这种动态规划、按需检索、循环验证的闭环机制让Agentic RAG突破了传统架构的天花板。它让大模型从一个被动的“文本生成器”变成了一个主动的“问题解决者”。4. 架构升级实战如何将准确率从45%提升至78%理论很美好落地是关键。下面我结合那个金融研报问答系统的改造过程具体拆解如何实施Agentic RAG。我们基于LangChain框架进行构建但核心思想是通用的。4.1 第一步重构系统架构——从流水线到智能体旧架构LangChain Expression Language LCEL 链式调用:用户问题 - 检索器(Retriever) - 提示模板(PromptTemplate) - LLM - 答案这是一个僵硬的链条检索器只调用一次。新架构LangChain Agent Tools:用户问题 - 智能体(AgentExecutor) | v [思考需要分解问题] | v ---------- 工具选择 ---------- | | v v 检索工具(Search) 计算工具(Calculator) | | v v 生成精准查询词 执行计算 | | v v 获取文档片段 得出结果 | | --------- 观察结果 ---------- | v [思考信息是否足够] | v 是 - 合成最终答案 否 - 继续规划下一步行动在这个新架构中智能体是核心调度器。我们为它定义了两个关键工具doc_search_tool: 这是一个自定义工具内部封装了我们的向量数据库用的Milvus和BM25检索器。它接受一个查询字符串返回相关的文档片段列表及相似度分数。calculate_tool: 一个简单的数学计算工具用于处理百分比、增长率等计算。4.2 第二步设计智能体的“大脑”——提示词工程智能体的能力很大程度上由驱动它的提示词System Prompt决定。这个提示词需要明确告诉它“你是谁”、“你有什么工具”、“你应该如何思考”。我们的核心提示词框架如下你是一个专业的金融分析师助手专门负责分析用户上传的研报文档。你的目标是基于文档内容准确、完整地回答用户的问题。 你拥有以下工具 1. doc_search_tool(query: str): 用于在研报知识库中搜索信息。你需要自己生成最相关的搜索查询词query。 2. calculate_tool(expression: str): 用于执行数学计算例如增长率、百分比、平均值等。 请严格按照以下步骤工作 1. **理解问题**仔细阅读用户问题明确其核心诉求。 2. **规划步骤**将复杂问题分解为几个简单的子问题。思考回答每个子问题需要什么信息以及是否需要计算。 3. **执行与验证** a. 针对一个子问题构思一个或多个精准的搜索查询词调用doc_search_tool。 b. 仔细阅读返回的文档片段。判断信息是否足够、准确。如果不够尝试调整查询词重新搜索。 c. 如果涉及数据比较或计算调用calculate_tool。 d. 将当前子问题的结果记录下来。 4. **综合回答**在所有子问题都解决后基于所有收集到的信息组织语言生成最终答案。答案必须严格引用文档内容不要添加任何文档外的知识或猜测。 现在开始处理用户的问题吧。这个提示词明确了ReAct的流程并强制要求智能体进行步骤规划和信息验证。与之前简单拼接上下文的提示词相比它赋予了模型完全不同的角色和行为模式。4.3 第三步应对复杂查询——实现多跳推理与验证这是提升准确率的关键。我们来看一个改造前后的对比案例。用户问题“请说明文档中提到的‘项目A’和‘项目B’在投资回报周期上的差异。”传统RAG失败案例检索可能同时召回了关于项目A和项目B的多个片段其中混杂着技术参数、投资额、风险分析等信息。生成模型面对杂乱信息可能回答“项目A和项目B都是重点投资项目具有不同的特点。”——这是一句正确的废话没有回答“差异”。Agentic RAG成功流程智能体规划“这个问题需要分别找出两个项目的投资回报周期然后进行比较。”智能体执行1生成查询词“项目A 投资回报周期 回收期”调用doc_search_tool。返回片段1“项目A预计静态投资回收期为5.2年。”智能体观察/记忆记录“项目A: 5.2年”。判断需要项目B的信息。智能体执行2生成查询词“项目B 投资回报周期 回收期”调用doc_search_tool。返回片段2“项目B的投资回报期约为4-5年。”智能体观察/思考发现项目B的数据是一个范围。可能需要更精确的信息或者思考如何对比一个确定值和一个范围。智能体执行3可选生成查询词“项目B 详细 财务测算 回收期”进行二次检索试图获取更精确数字。智能体综合基于现有信息A:5.2年 B:4-5年组织答案“根据文档项目A的静态投资回收期为5.2年。项目B的投资回报期约为4至5年。因此项目B的投资回报周期可能略短于项目A或在同一区间内。” 如果二次检索获得了精确值则进行精确对比。在这个流程中智能体像人类一样执行了分步查询、信息确认、数据对比的完整逻辑链。对于更复杂的问题如“预测全年趋势”智能体甚至可以规划出“获取Q1, Q2, Q3数据 - 计算季度环比 - 分析趋势 - 进行简单外推”的多步工作流并调用多次检索和计算工具。4.4 第四步引入验证与回溯机制——降低幻觉传统RAG的幻觉难以追溯而Agentic架构天然支持可解释性。我们在此基础上增加了一个简单的事后验证环节。 在智能体生成最终答案后我们并不直接返回给用户。而是启动一个轻量级的“验证步骤”从最终答案中提取所有关键事实陈述如数据、结论。针对每个事实再次调用检索工具查询与该事实最相关的原文。用一个简单的分类模型甚至可以用另一个提示词给大模型判断该事实是否被检索出的原文充分支持。如果某个事实不被支持则将这个“验证失败”的反馈连同原始问题、当前答案一起重新交给智能体要求它检查并修正答案。这个机制相当于增加了一个“校对智能体”虽然会增加少量耗时但能显著降低事实性错误。在我们的系统中它帮助拦截了约5%的潜在幻觉答案。5. 性能、成本与工程化Agentic RAG的挑战与权衡将准确率从45%提升到78%并非没有代价。Agentic架构引入了更高的复杂性和新的挑战。5.1 延迟与成本这是最直接的权衡。传统RAG通常只需1次LLM调用生成答案和1次检索。而Agentic RAG中一次问答可能包含多次“思考-行动”循环。LLM调用次数剧增智能体每“思考”一步都需要调用一次LLM生成下一步动作或查询词。一个中等复杂度的问题调用3-5次LLM是常态。检索次数增加每次工具调用都可能触发一次或多次检索。结果响应时间Latency从原来的1-2秒可能增加到5-10秒甚至更长。API调用成本也成倍增加。我们的优化策略使用更快的模型在智能体“思考”环节使用速度快、成本低的模型如GPT-3.5-Turbo或更小的开源模型仅在最终合成答案时使用最强但更贵的模型如GPT-4。限制循环次数为智能体设置最大迭代次数如10次防止陷入死循环。缓存对常见的中间查询结果进行缓存避免重复检索相同内容。异步与流式响应对于耗时较长的复杂问题采用异步处理先返回“正在分析”的状态再通过SSE等方式流式返回最终结果和中间思考过程提升用户体验。5.2 智能体的“失控”风险智能体并不总是可靠。它可能陷入循环反复检索相同或相似内容无法推进。生成无效查询构造的搜索词无法召回任何有效信息。错误使用工具比如该用计算器时却去检索。我们的应对经验精心设计提示词在System Prompt中明确约束如“如果你连续3次检索都得不到新信息请总结已有信息并尝试回答或承认信息不足。”工具设计的友好性让工具返回结构化的、清晰的结果。例如我们的doc_search_tool不仅返回文本还返回来源页码和置信度分数方便智能体判断。加入人工审核环节针对高风险场景对于金融、医疗等关键领域最终的答案可以进入一个待审核队列由专家快速复核后再发布。全面的测试与评估构建包含各种边界案例的测试集持续评估智能体的鲁棒性。5.3 工程复杂度与调试管理一个多步骤、有状态、可循环的工作流比管理一个线性管道要复杂得多。状态管理需要跟踪整个对话历史和工作记忆。可观测性必须记录完整的“思考链”Chain of Thought这是调试的黄金标准。任何一个错误答案我们都能回溯到是哪一步的思考或哪一次检索出了问题。版本控制提示词、工具定义、工作流逻辑的微小改动都可能影响整体行为需要像管理代码一样进行版本控制。我们采用了LangSmithLangChain的跟踪平台来记录每一次智能体运行的详细日志包括每一步的思考、工具调用输入输出、耗时等。这为我们优化提示词、调整工具提供了不可或缺的数据支持。6. 超越问答Agentic RAG的广阔想象空间Agentic架构的价值远不止于提升问答准确率。它为RAG应用打开了通往更复杂、更自主任务的大门。1. 自动化报告生成与摘要传统的RAG摘要只是对检索内容的拼接重写。而一个Agentic系统可以规划“需要先提取核心观点再寻找支撑数据最后总结趋势。”执行调用检索工具获取各部分信息调用代码工具生成图表。合成生成结构完整、图文并茂的摘要报告。 我们可以构建一个“研报分析智能体”用户上传多份研报后指令它“对比这几份报告中对光伏行业明年增速的预测并列出主要依据”。智能体会自动规划对比维度分别检索信息最后整理成表格和文字结论。2. 动态知识库维护与验证知识库不是静态的。Agentic架构可以让系统自我维护。冲突检测当新文档入库时智能体可以主动检索知识库中可能与之冲突的旧信息并提示人工审核。信息补全对于知识库中不完整的信息如某公司只有2022年数据智能体在回答相关问题时可以规划“先回答已有信息再指出缺失并建议补充2023年数据”。主动问答系统可以定期运行一些核心问题监控答案的一致性作为知识库健康度的指标。3. 复杂工作流的起点今天的Agentic RAG可能只是一个问答助手。明天它可以成为更复杂工作流的智能入口。用户说“帮我把上季度销售数据里增长率超过20%的产品找出来做个趋势图并附上负责人联系方式。”智能体规划分解为“数据检索与过滤”、“图表生成”、“联系人信息查询”三个子任务。智能体执行调用数据库查询工具、数据可视化工具、公司通讯录查询工具协调完成整个工作流。从45%到78%的飞跃不是一个简单的参数优化而是一次从“机械检索”到“认知增强”的架构范式迁移。Agentic RAG承认了大模型在复杂任务规划与工具使用上的潜力并通过架构设计将这种潜力释放出来。它当然带来了更高的复杂度和成本但在对准确性、可靠性和复杂问题处理能力有要求的场景下这几乎是必然的选择。