1. 数据清洗与元数据体系构建原始文档通常混杂着大量噪声与异构信息直接向量化会导致语义表达偏移。数据清洗与结构化是为后续所有环节建立可靠基础。1.1 清洗目标去噪去除页眉页脚、水印、特殊控制字符、格式标签。统一化全半角转换、日期格式统一、无效空格清理。去重与截断去除完全重复段落对超大文档预先切断过长句子避免后续分片困难。1.2 元数据分类体系将时间、分类、标题提取为每条切片的三类核心元数据作为检索时的精准过滤和排序基础时间元数据文档发布时间、更新时间、数据统计周期等。支持时效性过滤和衰减排序。分类元数据业务分类、文档类型如政策、操作手册、FAQ、知识库类目。支持按类别精准召回。标题元数据文档标题、层级标题。既可作为粗筛依据也可在生成回答时作为引用来源展示。所有元数据需在写入向量时一同存储后续检索时通过标量过滤与向量搜索组合大幅提高准召。2. 智能分片策略知识库文档的边界往往与语义边界不一致固定长度分片极易割裂核心语义。需采用语义感知的递归分片方案。2.1 递归切分机制按优先级从高到低进行层级切分文档级语义分隔符首先识别标题、章、节、段落边界。自然段切分在段落边界内按句子结束符进行切分。兜底长度切分若某段仍超过上限则按预设字符数强制断句但保留句子完整性。参数配置建议目标切片长度 500~800 token最小切片长度 100 token避免产生过短无意义片段。2.2 滑动窗口重叠为弥补切分边界处的语义断裂相邻切片之间设置10%~20% 的重叠区间。此举可保障边界处的关键实体和短语同时出现在前后两个切片中提高向量召回覆盖率。检索时即使核心语义恰好处在切分点也能被准确命中。2.3 子父块架构为平衡检索精度与上下文完整性设计两级结构子块检索块精细化小块用于向量相似度计算与索引召回保证检索精度。父块上下文块由相邻若干子块组成的更大文本区间在子块被命中后将整个父块一并返回为大模型提供充足上下文。这种架构保证了“精确命中小块、完整返回大块”避免因分片过细导致的语境丢失。3. 向量化模型选择与微调通用文本向量模型在垂直领域的表征能力有限专业术语、行话表达极易出现向量偏移。3.1 基座模型评估优先选择已在中文语料或大规模对比学习数据上表现优异的文本向量模型重点关注其在该垂直领域的零样本检索能力如MTEB中文榜单。若基础模型效果已有较好表现可减少微调成本。3.2 领域微调策略当零样本效果明显不足时进行针对性微调数据构造利用知识库文档构建正例对如标题-正文、问题-答案、摘要-原文并混合hard negative负例提升区分度。训练范式采用对比学习损失结合LoRA等高效微调方式在少量业务数据上调整模型表征空间。评估闭环构建领域专用检索评估集以Top-K召回率、MRR等指标衡量微调前后增益确保微调不损害通用能力且领域效果有实质提升。4. 索引算法选型与优化索引结构直接决定检索速度与召回质量需要在精度、内存、延迟三者间取得平衡。4.1 HNSW 图索引采用基于图的近似最近邻搜索算法 HNSW其核心优势分层小世界图结构检索复杂度接近 O(log N)延迟极低。图构建时通过候选集扩展和剪枝策略天然兼顾精度与速度。4.2 参数调优与吞吐量考量M 与 efConstruction适当增大连接数 M 和构建搜索宽度 efConstruction以消耗更多构建时间和内存为代价换取高召回率。在线场景需根据目标精度确定参数。efSearch 动态调整查询时的搜索宽度 efSearch 是精度与延迟的直接控制变量。可设计分级策略低延迟场景取较小值高精度场景动态增大。内存与吞吐优化对只读查询密集场景可启用图压缩、索引量化或纯内存模式提升高并发下的吞吐量。5. 索引增强与结果验证单次向量检索存在语义匹配偏差的可能需引入多层增强机制提升端到端准确度。5.1 混合检索向量 关键词 Reranker多路召回同时执行 HNSW 向量检索与 BM25 关键词检索互补语义泛化与精确匹配的不足。重排序模型将多路召回结果汇聚后送入 Cross-encoder 类型的 Reranker 模型进行精细语义比对根据相关度重新排序大幅提升 Top-K 的精确率。5.2 查询增强HyDE 虚拟文档在延迟容忍度较高或对精度有极致要求的场景可引入 HyDE 技术用大模型将用户查询“回答”为一段假设性文档虚拟文档。将该虚拟文档进行向量化并以此去检索真实文档。虚拟文档与真实文档处于相同的语义空间和表述风格能够显著缓解查询-文档间的表达鸿沟尤其适用于口语化提问与专业文档不匹配的情况。HyDE 会额外增加一次大模型调用建议作为复杂查询的按需增强手段而非全量开启。5.3 端到端验证闭环建立定期更新的QA评测集量化每一次策略迭代对最终答案准确率的贡献。在线采集改写、检索、回答全链路的用户反馈信号反向定位是检索漏招还是索引覆盖不足持续优化数据与索引策略。