01 切片的概念知识库文档的切片Chunking可以理解为为AI大模型“裁剪”便于阅读和理解的“知识卡片”。它的核心目标是把长文档切分成一个个语义完整、主题集中的小片段。这样做的原因有两个AI的“内存”有限大模型一次能处理的内容长度上下文窗口是有限的没法“吞下”整本百科全书。检索更精准切成小片后搜索引擎才能像查目录一样快速定位到最相关的那个片段而不是在整本书里“大海捞针”。02 主流的切片策略目前主流的切片策略可以根据“智能”程度分为几类1、基础策略简单直接快速上手这类方法实现简单适合处理格式规范、结构清晰的文档。固定大小切分最直接的方法就是按固定的字符数或Token数比如512或1024个Token来“一刀切”。它的缺点是可能会从句子中间切断破坏语义。固定大小 重叠窗口这是对上面方法的改进。让相邻的片段之间有一部分内容重叠通常为10%-20%确保在片段边界的关键信息不会丢失。按句子切分以句号、问号等标点符号为边界进行切分。这是最自然的语义单元能保证每个片段都是完整的句子。按段落/标题切分结构切分尊重文档的天然结构用空行、标题H1, H2等或列表符号作为切分依据。这种方法能最大程度保留文档的原始逻辑。2、高级策略追求极致语义完整性当基础策略无法满足精度要求时就需要更聪明的方法。递归切分这是目前工程上最常用的“够用”方案也是LangChain库的默认选择。它会尝试用不同级别的分隔符优先用段落\n\n不行再用句子最后才用字符来切分在保持语义和均匀大小之间取得平衡。语义切分这是目前效果最好的方法之一。它会先计算每个句子的向量Embedding然后根据相邻句子向量的相似度来判断语义是否发生变化。当相似度突然下降时就认为是主题的转折点在此处切开。虽然计算成本高但能确保每个切片主题一致。LLM辅助切分如LumberChunker代表了一种前沿思路即利用大模型自身的语义理解能力来做切分决策。它的流程通常是三步最终由大模型决定在哪切开。1. 自然拆分先把文章按段落拆开。2. 初步分组设定一个Token上限如550将连续的段落合并成不超过这个上限的组。3. 寻找语义断点将这一组段落送给大模型让它判断“从哪个段落开始话题变了”。大模型会返回一个断点位置从而在语义变化处精准切开。3、专项策略处理复杂内容表格/内容感知切分专门处理文档中的表格、代码块、列表等特殊元素。例如将表格转换为Markdown或JSON格式确保其结构完整性不被破坏。层次切分父子块建立多层级索引。先切出较大的“父块”用于粗检索再从中提取更小的“子块”用于精读。04 主流工具与框架在实际操作中我们通常会借助现成的工具LangChain其 RecursiveCharacterTextSplitter 是递归切分的经典实现。Unstructured一个强大的库能处理PDF、Word、HTML等多种格式并自动识别标题、表格等元素。Llamaindex另一个知名的LLM应用框架也提供了丰富的文本切分器。Semantic Chunking可以直接借助 sentence-transformers 等库计算句子向量相似度来实现。05 最佳实践与避坑指南1. 先解析再切分对于PDF、Word等格式首先要做的是文档解析把文字、表格、图片等内容干净地提取出来。解析质量直接决定后续切分的天花板。2. 推荐起点如果不知道从何下手可以优先尝试递归切RecursiveCharacterTextSplitter。3. 参数调优切片长度和重叠大小是关键参数需要根据文档特点调整。一个常见的起步值是300-500字重叠30-50字。4. 善用元数据为每个切片附带来源信息如文档名、章节标题、页码这对后续检索和答案溯源至关重要。5. 可视化验证在确定最终方案前可以使用Hugging Face的chunk-visualizer等工具直观地检查切分效果避免“盲切”。总的来说没有一种“万能”的切片策略。最佳实践是根据文档的结构化程度、内容复杂度和业务场景灵活组合使用上述方法。07 产品截图知识库配置截图参考