DB-GPT Web 界面知识库Knowledge Base构建与管理实战指南从文档上传到 RAG 检索调优【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT导读知识库Knowledge Base是 DB-GPT 中基于检索增强生成Retrieval-Augmented Generation, RAG的文档管理与问答基础设施。本文以 Web 界面知识库指南 为骨架系统讲解如何在 DB-GPT 的 Web 端创建知识库、上传多格式文档、配置切块与检索参数并将其接入 Chat Knowledge 对话模式同时结合仓库源码剖析 chunk size、Top K、Score Threshold 等参数在后端检索链路中的真实作用并给出 ChromaDB、Milvus、OceanBase 三种向量存储后端以及 Graph RAG、BM25 混合检索等进阶能力的配置路径。读完本文你将能够独立完成一个生产可用的知识库从创建、调优到对话验证的全流程。一、知识库在 DB-GPT 中的定位与整体流程在 DB-GPT 中知识库是连接原始文档与大模型问答之间的桥梁。其核心工作流为文档上传支持 PDF、Office 文档、网页、JSON 数据文件与常见源代码文件等格式离线处理对文档进行切块chunking、向量化embedding与索引indexing在线检索在 Chat Knowledge 对话中将用户问题转化为向量查询从知识库中召回最相关的文本块作为上下文注入大模型。从仓库源码结构看知识库相关的服务端实现位于 dbgpt-serve 的 rag 模块其 HTTP 端点定义在 rag/api/endpoints.py核心业务逻辑在 rag/service/service.py向量存储后端则统一收敛到 dbgpt-ext 的 storage/vector_store 目录。Web 前端对应页面位于 web/pages/knowledge知识库相关的 API 调用封装在 web/client/api/knowledge。二、创建知识库三步走Step 1 — 进入 Knowledge 页面在 DB-GPT Web 界面左侧边栏点击Knowledge进入知识库管理页面。该页面负责知识库的列表展示、创建、删除与文档管理。Step 2 — 填写基础信息点击Create或按钮填写以下字段字段说明Name知识库的名称建议使用具有描述性的名字便于在 Chat 下拉框中识别Description对知识库内容的简要描述Embedding Model用于向量化的嵌入模型必须与你在 DB-GPT 中实际配置的 embedding 模型保持一致关键提示Embedding Model 的选择必须与检索阶段使用的模型一致。若创建知识库时使用的 embedding 模型与对话检索时的模型不一致向量维度与语义空间不匹配将直接导致检索结果失效。DB-GPT 的服务端在 rag/config.py 中提供了embedding_model配置项作为服务级默认值Web 界面创建知识库时则可按需指定。Step 3 — 上传文档创建成功后打开该知识库点击Upload选择本地文件支持一次选择多个文件等待处理完成即可。处理过程包含三个环节chunking切块→ embedding向量化→ indexing索引写入。知识库支持的文件格式如下类型扩展名文档.pdf、.docx、.doc、.txt、.md表格.xlsx、.xls、.csv网页.html、.htm数据.json代码.py、.java、.js、.ts等从源码看文件解析与切块的底层能力位于 dbgpt-core 的 rag/knowledge 目录仓库同时提供了丰富的可运行示例例如 examples/rag/simple_rag_embedding_example.py、examples/rag/embedding_rag_example.py 与 examples/rag/db_schema_rag_example.py可帮助你在脱离 Web 界面的场景下理解同一套切块与向量化管线。三、在 Chat 中使用知识库进入Chat新建一个会话在对话模式中选择Chat Knowledge从下拉框中选择目标知识库直接提问大模型会以知识库中的文档作为上下文进行回答。在 docs/docs/getting-started/web-ui/chat.md 中可以看到 Chat Knowledge 与普通 Chat 模式在使用方式上的区别Chat Knowledge 会将查询先送入检索器再把召回结果拼接为上下文。其检索端的实现可以参考 dbgpt-serve 的 rag/retriever/knowledge_space.py 与 rag/retriever/retriever_chain.py前者负责按知识库定位向量集合后者负责将向量检索、可选的重排序rerank等环节串联成完整的检索链。四、知识库检索参数详解与调优每个知识库都可配置以下检索与切块参数参数说明默认值Chunk Size每个文本块的最大字符数512Chunk Overlap相邻文本块之间的重叠字符数50Top K每次查询召回的文本块数量5Score Threshold召回的相似度分数下限0.34.1 Chunk Size 与 Chunk Overlap切块质量决定检索上限切块chunking是 RAG 管线的第一环直接决定后续向量化与召回的粒度Chunk Size 过大单个块包含过多无关信息向量表示被稀释检索精度下降Chunk Size 过小语义被截断块内信息不完整导致召回的片段难以支撑完整回答Chunk Overlap通过相邻块之间的重叠字符保留被切分点截断的语义防止关键句子被生硬地一分为二。在 DB-GPT 的服务端配置中切块参数同样有全局默认值rag/config.py 中定义了chunk_size默认 500与chunk_overlap默认 50并支持similarity_top_k、similarity_score_threshold、rerank_top_k、query_rewrite等检索相关配置。此外dbgpt-core 的 _private/config.py 还提供了环境变量KNOWLEDGE_CHUNK_SIZE默认 100作为底层切块参数的读取入口。切块器Text Splitter的核心实现位于 dbgpt-core 的 rag/text_splitter/text_splitter.py其中CharacterTextSplitter等类即对应文档所述的切块逻辑仓库中的单元测试 rag/text_splitter/tests/test_splitters.py 对chunk_size与chunk_overlap在不同取值下的切分结果做了完整验证可作为你自行调参时的参考。4.2 Top K 与 Score Threshold控制召回数量与质量Top K决定每次查询最多取回多少个文本块。取值越大上下文越丰富但无效噪声也随之增加且会占用更多大模型上下文长度Score Threshold相似度分数低于该阈值的文本块会被过滤。数值越高召回结果越精但可能遗漏相关文档。在源码层面Top K 与阈值在检索器Retriever的调用链中被显式传递rag/retriever/base.py 中retrieve_with_score系列接口接收score_threshold参数而 rag/retriever/embedding.py 中的EmbeddingRetriever则通过构造参数top_k默认 4控制召回数量并在_retrieve中同时使用self._top_k与score_threshold完成数量截断与分数过滤。这意味着文档中的四个参数最终会汇入同一条向量检索调用链。4.3 调优建议速查大型文档适当增大 Chunk Size保留更完整的上下文语义追求精确回答增大 Top K 并降低 Score Threshold让更多候选块进入上下文结果噪声多提高 Score Threshold过滤低相关性的召回结果。五、向量存储后端选择DB-GPT 支持多种向量存储后端创建知识库后向量数据与索引会写入所选后端后端说明安装 ExtraChromaDB默认后端嵌入式运行无需额外部署storage_chromadbMilvus分布式向量数据库适合生产环境大规模检索storage_milvusOceanBase云原生分布式数据库适合已有 OceanBase 基础设施的场景storage_oceanbase三种后端的实现均位于 dbgpt-ext 的 storage/vector_store 目录分别是 chroma_store.py、milvus_store.py 与 oceanbase_store.py。其中 Chroma 后端提供了persist_path持久化目录参数见 chroma_store.py决定了向量数据的落盘位置这些后端均在 dbgpt-app 与 dbgpt-ext 的 pyproject.toml 中通过对应的 extra 依赖声明。使用非默认后端时在安装命令中追加对应的 extra 即可uv sync --all-packages --extra storage_milvus ...例如切换到 Milvus 后还需按 Milvus 官方要求部署 Milvus 服务并在 DB-GPT 的向量存储配置中填写 Milvus 的连接地址与集合参数。六、进阶能力Graph RAG 与 BM25 混合检索6.1 Graph RAG图谱化结构化检索DB-GPT 支持通过知识图谱进行结构化检索从文档中自动抽取实体entity与关系relationship在向量检索之外支持基于图谱的查询路径适合概念高度互联的复杂领域知识让回答能够利用实体间的显式关联而非仅依赖文本相似度。Graph RAG 的完整搭建与配置步骤见 Graph RAG 文档该文档讲解了从数据准备、图谱构建到图谱问答的完整流程。仓库还提供了一份 Graph RAG 参考配置文件 configs/dbgpt-graphrag.toml以及可运行的示例脚本 examples/rag/graph_rag_example.py方便你对照 Web 界面流程验证底层实现。6.2 BM25 关键词检索混合检索提升召回对于需要同时利用向量语义相似与关键词精确匹配的混合检索场景DB-GPT 支持在向量检索之外叠加 BM25 关键词索引以提升召回率recalluv sync --all-packages --extra rag_bm25 ...安装rag_bm25extra 后BM25 索引会与向量 embedding 并行建立检索阶段两者结果合并弥补纯向量检索对精确术语、专有名词不敏感的问题。仓库提供了对应的检索示例 examples/rag/bm25_retriever_example.py 与完整配置模板 configs/dbgpt-bm25-rag.toml。七、知识库的日常管理操作方法查看点击知识库卡片查看其文档列表与参数设置添加文档在知识库详情页使用 Upload 按钮继续追加文档删除文档勾选目标文档后点击 Delete删除知识库在知识库卡片上使用 Delete 按钮⚠️ 删除不可恢复删除知识库会同时移除全部向量 embedding 与索引数据原始上传文件同样无法恢复。执行删除前请确认知识库中的数据已不再需要或已保留文档原件。八、继续深入主题入口在 Chat 中使用知识库Chat 使用指南RAG 基础概念RAG 概念文档高级 RAG 配置RAG 高级教程九、结语与最佳实践清单将 Web 界面操作与仓库源码相互印证可以得到一份可直接落地的知识库实践清单模型一致性创建知识库时选择的 Embedding Model 必须与对话检索使用的模型保持一致切块先行先根据文档篇幅与语义粒度确定 Chunk Size / Chunk Overlap再决定是否启用重叠以保留截断边界语义检索调优闭环以 Top K 与 Score Threshold 为旋钮围绕精确回答与噪声控制两个目标反复迭代后端按规模选型原型阶段用 ChromaDB 零部署起步生产环境按数据规模切换 Milvus 等分布式后端混合检索按需启用对术语密集型领域叠加 BM25 关键词索引往往能显著提升召回删除谨慎知识库删除是不可逆操作删除前务必确认数据备份情况。掌握以上要点后你就可以基于 DB-GPT 的 Web 界面独立搭建、调优并维护一套面向真实业务文档的 RAG 知识库系统。【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考