这项由英属哥伦比亚大学与ServiceNow Research联合完成的研究发表于2026年6月论文编号为arXiv:2606.18381有兴趣深入钻研的读者可通过该编号检索完整原文。当你让AI帮你在一份几十页的合同里找一个关键条款或者请它从一篇长篇科学报告中提炼核心证据时AI其实并不是读完全文再回答你。它更像是一个手忙脚乱的图书馆管理员先把整本书撕成一张张卡片再从卡片堆里捞几张最像答案的出来交给你。问题是这种方式很容易捞到半截话——每张卡片单独看都说不清楚事情的来龙去脉凑在一起又彼此矛盾或重复。这个困境是当前几乎所有检索增强生成系统RAG可以理解为给AI配备了一个外挂资料库共同面临的核心难题。而这篇论文提出的方法——SPROUTRAG给出了一个颇具新意的解决思路与其让AI拿着一摞散碎的卡片去检索不如先把这些卡片按照它们彼此之间的关联亲疏像家谱树一样组织起来检索时沿着这棵树从粗到细地搜按需取证。---一、AI读长文件为什么总是丢三落四假设你是一位律师助理需要快速判断一份合同里的责任限制条款是否有例外情形。这个问题的答案散布在四句话里第一句说哪些损失不算第二句说最多赔多少钱第三句说无论什么诉讼形式都适用第四句才说哪些情况除外。这四句话合在一起才能回答你的问题但它们并不挨着中间夹着其他条款。当AI的资料库管理员把合同切成小块时这四句话很可能分散在不同的块里。AI检索时只拿到了最像你问题的那一两块回答自然残缺不全——它告诉你最多赔12个月的费用却没有告诉你但如果是严重过失或故意违约这个限制不算数。这就是所谓的语义碎片化问题。大块切分能保留上下文但会引入无关噪音小块切分精准却容易把本该联系在一起的证据拆散。研究团队把这个矛盾称为检索粒度与语境连贯性之间的天平难题。现有的解法大致分几条路。有的方法靠大语言模型来判断哪些句子该合并但每次检索都调用大模型代价高昂就像每次找书都要请专家来手工分类一样。有的方法把文档做成图谱靠实体和关系来导航但当关键信息不含明显实体时就力不从心。还有的方法像RAPTOR那样先把文本段落聚成组再让AI对每组写摘要形成多层结构——但摘要这个过程本身就会丢失细节就像给你一份二手转述而非原文。SPROUTRAG的设计野心是既不依赖大模型来切块或过滤也不用会丢失信息的摘要而是用文档自身的内在结构信号来组织证据并且在检索时能同时从粗粒度和细粒度两个层次取证。---二、文章的内在脉搏句子之间的注意力是什么要理解SPROUTRAG的核心机制需要先了解一个关键工具句子级别的语言模型论文中称为SLLM以及它产生的注意力矩阵。现代语言模型在处理文本时会对文本中的每对词、每对句子打一个关注分数表示这两个部分之间有多大的关联。这个分数矩阵就叫做注意力矩阵。你可以把它理解成一张相互关注度的表格——如果句子A和句子B经常相互呼应它们之间的关注分数就高如果两句话各说各的分数就低。然而这个工具有个微妙的陷阱语言模型的注意力并不总是在追踪语义相关性有些注意力头模型内部负责不同任务的专注单元实际上只是在追踪物理距离——相邻的句子无论说什么都会相互给出较高的关注分数。这就是所谓的邻近偏差。如果把所有注意力头的分数简单平均这种偏差会放大导致切块结果只是把相邻句子强行捆绑而非按照真正的语义把相关但不相邻的句子联系起来。SPROUTRAG的第一个核心创新就是解决这个偏差问题。它不对所有注意力头和层做简单平均而是给每个注意力头和每一层配备一个可学习的权重让模型在训练过程中自动发现哪些头更擅长捕捉语义共同相关性哪些头只是在追踪位置关系。最终模型会自动下调那些邻近偏差型注意力头的权重上调那些真正反映主题关联性的头的权重。这套权重用的是softmax归一化确保所有权重加起来等于1像调音台上的推子一样精细控制每个声道的音量。加权融合后研究团队还对这个分数做了一步对称化处理——把A关注B的分数和B关注A的分数取平均得到一个双向关联度。这样句子之间的关系就不再是单向的而是互相确认的进一步过滤掉那些单方面的虚假关联。---三、从散乱的句子到一棵有层次的树有了这个经过精炼的句子间关联度矩阵SPROUTRAG就可以开始建树了。这个过程可以用一个直观的类比来理解亲缘关系最近的人先合并成小家庭小家庭再按照亲疏合并成大家族最终整棵家谱树的根节点代表整篇文档。具体操作是一开始文档里的每个句子块都是树的叶子节点彼此独立。每一步从所有还没有被合并的节点对中找出关联度最高的那一对把它们合并成一个父节点。这个父节点的代表向量是两个子节点向量的平均值——就像把两个人的特征各取一半得到一个能同时代表他们的家庭代表。合并之后新的父节点和其他所有节点之间的关联度取两个子节点与那些节点关联度的较大值。这个规则叫做单链接更新它的妙处在于只要一个大家族里有任何一个成员与外面某人关系亲近整个家族就会保持与那个人的联系不会因为组建家庭而切断远程联系。这棵树最终的样子叶子节点是精细的句子级别证据中间节点是语义上紧密的句子组合根节点代表整篇文档。每一级节点都存储了自己的向量表示这个向量是其所有子叶子向量的渐进平均因此能在一定程度上概括它下面所有句子的语义同时不需要额外的摘要生成步骤。这个建树过程完全在离线阶段完成一旦树建好就像图书馆的分类架子搭好了之后每次有查询请求进来只需要沿着架子找不需要重新组织。---四、检索时沿树搜索宽度优先的猎人策略树建好了检索的方式也随之改变。传统的平铺检索像在操场上扫雷把每一块地毯翻过来用查询向量逐一比对取相似度最高的几块。这种方式对所有块一视同仁既不会放大某个区域的精细搜索也不会跳过某些明显无关的区域。SPROUTRAG的检索策略是分层束搜索可以用猎人在森林里追踪猎物的方式来理解。猎人从林子入口树的根节点出发先大致判断猎物在哪个方向然后朝最有可能的几个方向同时推进而不是只走一条路。每到一个分叉口猎人再次评估哪些方向最有希望保留最好的若干条路继续深入。这样搜索始终在最有希望的几个分支上并行推进不会因为过早锁定一条路而错过旁边隐藏的猎物也不会在明显无关的方向上浪费精力。在技术上每一步搜索都把当前活跃波束里所有节点的子节点展开用查询向量与每个子节点的向量计算余弦相似度一种衡量两个向量方向有多接近的指标越接近表示语义越相似然后保留得分最高的若干个节点继续搜索下一层。与此同时所有在搜索过程中被访问并且得分超过一个阈值的节点都会被加入候选集合。这个候选集合里混合了精细的叶子节点和较粗粒度的内部节点涵盖了多个语义层次的证据。最后对这个候选集合按相似度重排序取得分最高的若干个证据块交给生成模型来回答问题。这里有一个工程细节值得关注当检索结果里包含内部节点时这个节点实际上代表了多个句子的组合。为了公平评估研究团队在计算指标时会把内部节点展开成它包含的所有叶子节点然后按总的证据条数来计算精确率和召回率确保不同方法之间的证据预算可以比较。---五、训练教树和检索器相互成就一棵好树需要好的注意力权重好的检索需要好的向量表示。这两个目标如果分开训练可能会相互掣肘——一个好的通用语义向量不一定能产生适合检索的树结构反过来为树结构优化的注意力也不一定能产生对检索有用的向量。SPROUTRAG的解法是用一个联合训练目标同时优化两件事。第一件事是让向量表示对检索更有用。研究团队采用了对比学习的方式对于每一个查询提供一个正确的相关段落和若干困难的不相关段落那些表面看起来很像但实际上不相关的段落训练模型让查询向量在空间上靠近正确段落的向量远离那些干扰段落。这就像训练一只猎犬让它学会分辨真正的猎物气味和相似的干扰气味。每个段落的向量是其所有句子向量的平均值。第二件事是让注意力权重能产生结构合理的树。对于训练数据里那些共同支撑同一个查询的句子对训练目标希望它们之间的双向关联度尽量高这样它们就会在建树时被优先合并到同一个节点形成检索时容易一次性捞出来的证据单元。这个目标直接作用在可学习的注意力头权重上推动模型学会哪些类型的注意力头更能反映语义共同相关性。最终的训练损失是这两个目标的加权和权重λ0.1控制树结构目标对整体训练的影响强度。训练完成后学到的注意力权重固化下来用于离线建树训练后的向量表示用于在线检索时计算相似度。整个系统只需要训练一次之后可以直接应用到不同领域的文档上不需要针对每个新数据集重新训练。训练数据是从CLaRa数据集中采样的3万个查询-段落对使用AdamW优化器句子模型的学习率为2×10??注意力权重的学习率为1×10??训练3轮批量大小32温度参数τ0.05线性预热比例5%。---六、和其他方法比较SPROUTRAG赢在哪里、又弱在哪里研究团队在四个不同类型的数据集上进行了评估分别是科学文档检索SCI-DOCS、法律文档检索LegalBench-RAG、多领域RAG评估Dragonball和大规模开放域段落检索MS MARCO。此外还在三个端到端问答数据集上评估了最终回答质量包括多跳推理数据集HotpotQA、短问答数据集WebQuestions以及Dragonball。检索质量的核心评估指标是信息效率IE计算方式是召回率乘以精确率用于综合衡量一个方法在取回足够多相关证据的同时是否也尽量避免了无关噪音。在平均k1、3、5的评估中SPROUTRAG在四个数据集上均取得最高IE在Dragonball上超过第二名8.06点在SCI-DOCS上超过4.65点在LegalBench-RAG上超过4.90点在MS MARCO上超过6.83点平均提升6.1%。与最接近的基线SAKI-RAG相比这个对比尤为能说明问题。SAKI-RAG同样使用句子级别语言模型来估算句子间关联并据此扩展检索结果精确率表现相当不错在Dragonball和SCI-DOCS上甚至高于很多其他方法。但由于它只做成对扩展——每次只把当前检索到的句子和它最相关的邻居句子拼在一起——当证据需要来自三句、四句甚至更多分散的句子时它的召回率就明显下降进而拉低IE。SPROUTRAG把这种成对关系升维成了全局树结构自然能在保持高精确率的同时覆盖更多相关证据。对比RAPTOR后者也构建了多层次的树结构但它的建树方式是先用向量相似度对块做聚类再让大语言模型对每个聚类写摘要。摘要这个步骤虽然能给上层节点一个语义浓缩的表示但不可避免地会丢失细节且需要在建树时大量调用大语言模型成本较高。SPROUTRAG的内部节点用的是子节点向量的渐进平均虽然在表达能力上不如精心写就的摘要但完全无损而且不需要任何额外的模型调用。在端到端回答质量和效率的对比中PageIndex取得了最高的回答质量但它需要用大语言模型进行多步推理式导航平均每个查询要消耗24620个输入token延迟2847毫秒。SPROUTRAG每个查询只用4382个token延迟仅193毫秒比GraphRAG、ReflectiveRAG和REFRAG都更快在HotpotQA上的F1达到76.47在WebQuestions上达到68.12在Dragonball的ROUGE-L、METEOR和BERTScore上分别达到0.372、0.389和0.671在效率和质量之间取得了较好的平衡。---七、拆解实验每个设计决策是否真的有用研究团队做了详细的消融实验把SPROUTRAG的各个组成部分逐一拆掉观察性能变化以验证每个设计决策的必要性。首先看训练目标的贡献。完全不训练的版本直接用预训练的句子语言模型在所有数据集上表现最差说明预训练模型并未针对检索导向的树结构构建进行优化直接使用不够。去掉检索对比学习目标后性能大幅下滑因为查询向量和文档向量之间的对齐关系没有建立起来。去掉注意力结构目标后性能也会一致性地下降尤其体现在IE上说明这个目标对于建出一棵能把共同相关证据聚在一起的树确实有效。两个目标都需要且缺一不可但检索目标的贡献更大一些。再看树结构和检索设计的贡献。用均匀加权代替可学习加权的版本性能下降明显验证了邻近偏差确实存在且有害。改用纯向量相似度而非注意力来建树性能也有所下降说明注意力确实携带了向量空间捕捉不到的结构信息两者互补而非可替换。只从叶子节点检索不使用内部节点的版本精确率很高但召回率和IE下降说明内部节点对于覆盖多句证据确实不可或缺。用贪心搜索代替束搜索的版本召回率和IE均下降因为贪心搜索过早锁定一条路错过了在其他分支上散布的相关证据。超参数敏感性方面束宽度b从5降到3会轻微降低IE增到10会略微提升召回但降低精确率净效果不优于b5。λ从0.1降到0.05或提升到0.2IE均略有下降默认值0.1提供了最好的平衡。这说明SPROUTRAG在合理范围内的参数变化下表现稳定不是一个对超参数极其敏感的系统。---八、研究的边界哪些地方还有改进空间研究团队在论文中坦率地指出了当前框架的几处局限性这些局限性同时也指向了未来可以深入的方向。当前的树结构是严格的二叉树每次只合并两个节点。但现实中有些语义单元由三个甚至更多句子同时构成它们应当被同时合并进同一个节点而不是强行按照两两合并的顺序依次处理。多叉树结构可能更自然地捕捉这种多对多的关系。内部节点的向量表示目前是简单的子节点平均这种方式计算高效且完全无损但表达能力相对有限——一个精心设计的门控机制或基于注意力的聚合函数可能能给内部节点赋予更有区分性的表示让层次检索更加精准。此外当前的树是离线构建、固定不变的查询来了就直接在这棵树上搜不会根据查询的特点调整搜索策略。但不同类型的查询可能受益于不同的搜索深度或不同的展开策略——一个关于全文主旨的宏观问题可能更适合在树的上层寻找答案而一个关于具体细节的微观问题则应该更多在叶子层徘徊。查询依赖的动态树遍历策略是一个值得探索的方向。---说到底SPROUTRAG解决的是一个非常实际的工程问题当你把一本书切成卡片交给AI来检索它很难同时做到精准和完整。这篇论文的团队用了一个颇为优雅的思路——不是让AI更聪明地在卡片堆里翻找而是先把卡片按照内在的语义亲缘关系组织成一棵树再沿着树分层搜索。这样AI既能找到精确的单张卡片也能在需要时拿走整个家庭相册。这个思路的价值在于它避免了两个代价高昂的操作一是在每次检索时调用大语言模型来辅助判断成本高速度慢二是在建树时用摘要来表示上层节点会丢失信息。代价是需要做一次离线训练但这个训练是一次性的训练好的模型可以迁移到不同领域的文档上无需针对每个新场景重来一遍。如果你对AI如何处理长文档、如何从海量知识库中精准取证感兴趣这篇论文提供了一个从理论到实验都相当完整的参考案例。有兴趣深入了解的读者可以通过arXiv编号2606.18381查阅完整原文。---QAQ1SPROUTRAG和普通RAG检索方法有什么本质区别A普通RAG把文档切成固定大小的块检索时用相似度在所有块里找最像的几个这种方式容易把本来相关的多句话拆散导致检索结果要么太细、要么太粗。SPROUTRAG则先用句子模型的注意力信号把句子块按照语义关联度组织成一棵层次树检索时沿树分层搜索可以按需取出精细的单句或较大的句子组合在精确率和召回率之间取得更好的平衡。Q2SPROUTRAG建树时用的注意力为什么比普通向量相似度更有用A向量相似度衡量的是两句话在语义空间里的距离但有些深层结构关系比如两句话虽然用词不同却共同服务于同一论点在向量空间里不一定靠近。注意力矩阵记录的是模型在理解全文时各句子之间的相互关注程度携带了向量距离之外的上下文结构信息。实验中把注意力替换为纯向量相似度来建树检索性能会一致性地下降证明两者确实互补而非等价。Q3SPROUTRAG的训练成本高不高每次用新文档都要重新训练吗A训练是一次性的研究团队在3万个样本上训练了3轮完成后学到的注意力权重和向量表示可以直接应用到不同领域的文档无需针对每个新数据集重新训练。实验结果显示在科学、法律、开放域等不同领域同一套训练好的参数都能带来稳定的性能提升说明学到的结构确实具有跨领域的泛化能力。