在前两篇文章中我们解决了 RAG 的“碎片化”问题并通过“实体对齐”清洗了数据噪声。现在你的知识图谱应该已经是一个干净、准确但可能非常庞大且复杂的网络了。这时候如果你问 LLM 一个宏大的问题比如“请总结这份关于全球半导体供应链报告的核心风险点”传统的 RAG 会再次失效。因为它只能检索到局部的片段无法看到整个网络的“聚类”情况。今天我们将引入图论中的经典算法——社区检测Community Detection并讲解微软 GraphRAG 论文中提出的Leiden 算法看看它是如何帮助 AI 建立“全局视野”的。1. 为什么我们需要“社区”想象一下你面前有一张巨大的城市地图上面有数百万个地点节点和道路关系。传统 RAG就像是你站在某个路口只能看到周围的几条街。知识图谱检索像是你可以顺着路走很远但依然是在迷宫里打转。社区检测则是直接给你一张行政区划图。它告诉你这里是“商业区”那里是“住宅区”中间那片是“工业园”。在 GraphRAG 中社区Community指的是图中连接紧密的一组节点。通过算法将相似的实体自动归类我们可以把非结构化的文本转化为具有层级结构的“知识摘要”。2. Leiden 算法比 Louvain 更快的选择在社区检测领域最著名的算法是 Louvain但在处理大规模图谱时它的速度往往不够快且可能产生不连通的社区。目前 GraphRAG特别是微软的实现更倾向于使用Leiden 算法。速度更快它是 Louvain 的改进版通过引入“局部移动阶段”和“细化阶段”大大减少了计算时间。质量更高它保证了每个社区内部都是连通的避免了 Louvain 算法中可能出现的“断裂社区”问题。模块化优化它致力于最大化“模块度Modularity”简单说就是让社区内部的连接尽可能多社区之间的连接尽可能少。3. 实战流程从算法到 LLM 摘要社区检测本身只是数学计算它给每个节点打上了一个标签比如Community_ID: 101。真正的魔法发生在下一步为每个社区生成摘要。这是一个典型的 Map-Reduce 过程聚类Clustering运行 Leiden 算法将图谱划分为NNN个社区。提取子图Subgraph Extraction对于每一个社区提取出属于它的所有节点和边以及这些节点对应的原始文本块Chunks。LLM 摘要Summarization将这些文本块喂给 LLMPrompt 大致如下“你是一个分析专家。请阅读以下属于同一个语义社区的文本片段。请总结出这个社区的主要主题、关键实体以及它们之间的关系。输出一个结构化的摘要报告。”层级构建Hierarchy这是一个递归过程。我们可以把第一层生成的“社区摘要”当作新的节点再次进行聚类和摘要从而形成一棵知识树。4. 代码实现思路 (Python NetworkX/igraph)虽然微软开源了graphrag库但理解底层原理很重要。以下是一个简化的 Python 实现逻辑importigraphasigimportleidenalgasla# 假设 G 是你已经构建好并经过实体对齐的 NetworkX 图# 1. 转换为 igraph 格式以获得更好的性能edgeslist(G.edges())igraph_gig.Graph(edgesedges,directedFalse)# 2. 运行 Leiden 算法# resolution_parameter 决定了社区的大小值越大社区越小越细碎partitionla.find_partition(igraph_g,la.ModularityVertexPartition,resolution_parameter1.0)# 3. 获取结果# partition.membership 是一个列表索引对应节点ID值对应社区IDcommunity_map{}foridx,community_idinenumerate(partition.membership):node_namelist(G.nodes())[idx]ifcommunity_idnotincommunity_map:community_map[community_id][]community_map[community_id].append(node_name)print(f检测到{len(community_map)}个社区)# 4. 接下来遍历 community_map提取文本调用 LLM 进行摘要...5. 这一步的价值通过社区检测我们实际上是在做**“预计算”**。当用户提问时我们不再需要实时去遍历几百万个节点。我们可以先检索最相关的“社区摘要”。如果用户问得比较泛直接返回高层级的摘要如果用户问得细再下钻到具体的子社区或原始节点。这就是 GraphRAG 能够实现“全局性问题回答Global Search”的秘密武器。下一篇预告有了社区和摘要我们终于来到了终点线。下一篇文章我们将把这些所有组件串联起来讲解**《GraphRAG 检索策略如何结合向量与图谱进行混合查询》**真正完成一个可用的系统。