1. 项目概述从竞赛成绩到技术范式的跨越拿到CVPR 2026 CASTLE挑战赛的季军这个结果本身当然值得高兴但对我而言更重要的价值在于我们验证了一套名为“基于分层知识图谱检索的智能体多视角长上下文视频理解”的技术框架。这名字听起来有点拗口简单说就是让AI像人一样能“看懂”长达数小时、包含多个摄像头视角的复杂监控或叙事视频并回答其中各种刁钻的问题。CASTLE挑战赛的全称是“Comprehensive Analysis of Spatio-Temporal Long-form Events”它聚焦的就是这个公认的计算机视觉“硬骨头”——长视频理解。为什么说这是硬骨头传统的视频理解模型无论是做动作识别还是视频问答其“视野”通常被限制在几秒到几分钟的片段内。模型像是一个患有严重“短期记忆障碍”的观察者只能对眼前的画面做出反应无法联系十分钟前、甚至一小时前发生的某个关键事件来理解当前场景。而现实世界的视频尤其是安防、医疗手术、体育赛事分析、影视制作等领域动辄数小时信息在时间轴上高度分散且相互关联。更复杂的是CASTLE赛题还引入了“多视角”——同一场景下多个摄像头的同步画面。这要求模型不仅要能“记住”长时间的故事线还要能在不同视角间进行“空间推理”比如从主摄像机切换到特写镜头时能识别出这是同一个人的不同角度。我们团队的核心思路没有选择一味地堆叠更大的Transformer模型去暴力处理超长视频序列那会导致计算量爆炸和注意力稀释而是借鉴了人类认知中的“分层记忆”与“知识关联”机制。我们构建了一个动态的、分层的知识图谱作为AI智能体的“外部记忆库”和“思考脚手架”。智能体像侦探一样在观看视频流的同时不断从视频中提取关键实体人、物、动作、关系和事件并以结构化的方式存入知识图谱。当需要回答问题时智能体不是重新扫描整个原始视频而是先在这个结构化的知识图谱中进行高效、精准的检索和推理。这套方法正是我们获得季军的关键也让我看到了解决长视频理解问题的一条更清晰、更可解释的路径。2. 核心思路拆解为什么是“分层知识图谱”与“智能体”面对长达数小时、TB级别的视频数据最直观的“暴力”方法是尝试用超大模型直接处理。但这条路有几个致命伤。首先计算成本无法承受。即便是经过精心优化的视频Transformer其注意力机制的计算复杂度与序列长度的平方成正比。将数小时视频压缩成帧再编码成特征序列其长度是天文数字。其次信息稀释与噪声干扰。长视频中充斥着大量冗余、无关紧要的帧如静止画面、空镜让模型平等地关注每一帧反而会淹没那些真正关键但短暂的瞬间。最后缺乏可解释性。模型给出一个答案我们很难追溯它到底是基于视频中哪一段、哪个物体的什么关系得出的结论这在安防、医疗等高风险场景下是不可接受的。因此我们的设计哲学从“端到端一次性理解”转向了“迭代式、结构化的理解与推理”。这引出了两个核心构件智能体Agent和分层知识图谱Hierarchical Knowledge Graph。2.1 智能体从“被动分类器”到“主动感知者”我们不再将模型视为一个静态的函数映射输入视频输出答案而是将其设计为一个具有感知、记忆、思考和行动能力的智能体。这个智能体的工作流程是循环的感知Perceive读取当前视频片段例如一个5秒的滑动窗口。提取Extract调用视觉基础模型如经过视频数据微调的ViT或Video Swin Transformer从片段中提取关键信息检测到的物体、识别出的人脸/动作、场景标签、视觉关系如“人A正在靠近门B”。记忆Memorize将提取的信息以结构化的三元组头实体-关系-尾实体形式存储或更新到外部的分层知识图谱中。例如(人物-张三, 位于, 房间-客厅)(事件-争吵, 发生于, 时间戳T)(物体-钥匙, 被, 人物-李四, 拿起)。判断Judge根据当前累积的知识和待回答的问题决定下一步行动是继续观看下一段视频如果知识还不够还是开始在知识图谱中进行检索推理以回答问题。这个范式转变的好处是巨大的。智能体可以选择性关注避免处理无用信息其推理过程基于结构化的知识可解释性强而且它可以处理流式视频无需等待整个视频下载完毕。2.2 分层知识图谱从“扁平特征池”到“结构化记忆塔”知识图谱是这套系统的“大脑皮层”。但一个扁平的大图谱在处理长视频、多实体时依然会低效。我们将其设计为三层结构模仿人类的记忆组织方式瞬时层Instantaneous Layer存储最近一个时间窗口如30秒内提取的所有细粒度三元组。这一层信息密度高、细节丰富但未被整合主要用于回答关于“刚刚发生了什么”的细节问题。情节层Episodic Layer这是核心。系统会定期或基于事件检测触发对“瞬时层”的信息进行聚合与抽象。例如将一系列“张三走近冰箱”、“张三打开冰箱门”、“张三取出牛奶”、“张三关上冰箱门”的瞬时三元组抽象为一个高级事件“张三从冰箱获取了牛奶”并关联起开始时间、结束时间、涉及的主要实体和子事件。情节层存储的是一个个有头有尾的“故事单元”。语义层Semantic Layer存储静态的、常识性的知识以及从长视频中归纳出的“模式”。例如“厨房通常包含冰箱、水槽”、“握手通常发生在问候或达成协议的场合”。这一层知识来源于预训练的语言视觉模型和长期观察的统计规律用于辅助推理和理解异常事件比如一个人在厨房里试图打开保险箱就与语义层知识冲突可能标记为异常。分层的好处在于检索效率。当问题问“视频前半段主角的情绪变化如何”智能体会直接去“情节层”检索以“主角”为核心的一系列事件并按时间排序分析。当问题问“第25分30秒时穿红衣服的人手里拿着什么”智能体会结合时间戳定位到“瞬时层”进行精确查找。这种结构化的记忆使得长上下文推理变得可行且高效。3. 系统架构与核心模块实现我们的系统是一个多模块的流水线下图清晰地展示了从原始视频输入到最终答案输出的完整流程以及各核心模块间的协作关系flowchart TD A[“多视角长视频输入”] -- B[“视频分割与特征提取模块”] B -- C[“智能体控制中枢”] C -- D[“分层知识图谱br瞬时/情节/语义层”] C -- “查询” -- E[“图检索与推理引擎”] D -- “返回子图/路径” -- E F[“用户问题输入”] -- E E -- G[“多模态答案生成器”] G -- H[“结构化答案输出”] C -- “指导” -- B E -- “反馈” -- C3.1 视频分割与特征提取模块这是整个系统的“眼睛”。直接处理原始像素流是不现实的我们的第一步是自适应关键帧采样。我们不是简单地每秒取一帧而是使用一个轻量化的场景变化检测网络基于帧间差异和光流在动作剧烈、场景切换时提高采样率在静止画面时降低采样率。这样在保证信息不丢失的前提下将数小时视频压缩成一个长度可控的关键帧序列。对于每个关键帧我们使用一组并行的预训练模型进行特征提取目标检测与跟踪使用YOLO-v10或DINO系列模型检测物体并跨帧进行ID关联形成物体的轨迹。场景与活动识别使用VideoMAE或InternVideo等视频理解模型对短片段围绕关键帧的16帧进行编码得到场景类别如“厨房”、“街道”和原子活动标签如“行走”、“交谈”。关系提取这是一个关键且挑战性的步骤。我们训练了一个基于Transformer的关系解码器它以检测到的物体区域特征和全局场景特征为输入预测物体间的关系谓词如靠近、持有、看向。这部分数据依赖于视觉基因组Visual Genome等数据集的微调。实操心得多视角视频的处理需要额外的跨视角对齐模块。我们利用场景中的静态标志物或通过运动结构恢复SfM得到的粗略3D点云对不同相机视角下的同一物体进行ID匹配。例如确保从相机1和相机2检测到的“穿蓝衣服的人”被赋予同一个全局ID。这一步的准确性直接影响了后续知识图谱构建的质量。3.2 分层知识图谱的构建与更新这是系统的“记忆中枢”。我们使用图数据库如Neo4j的接口来动态维护这个图谱。瞬时层更新每当处理完一个时间窗口如5秒提取出的所有(实体关系实体)三元组和(实体属性值)信息如人物.衣服颜色红色会被立即插入图数据库。每个节点和边都带有精确的时间戳范围。这一层的操作是高频的“插入”。情节层抽象这是一个离线或准在线过程。我们设置了一个“事件检测器”它监测两类信号一是时间信号每累积60秒进行一次回顾二是语义信号当检测到“打架”、“摔倒”、“交换物品”等高信息量活动时。事件检测器会扫描过去一段时间“瞬时层”的子图运用规则和轻量图神经网络GNN进行聚类和归纳。例如识别出一系列“拿起电话”、“拨号”、“说话”、“挂断电话”的动作为一个“打电话”事件节点。这个新的事件节点会链接到参与其中的所有实体节点并继承其时间跨度。语义层注入这一层知识部分来自外部知识库如ConceptNet的导入部分来自系统自身的长期统计。例如如果系统在100个不同的“厨房”场景视频中都观测到“冰箱”和“水槽”共现它就会在语义层强化(厨房 包含 冰箱)和(厨房 包含 水槽)这样的统计性关联其边权重会很高。注意事项图谱的更新不是单向的。当“情节层”抽象出一个新事件后它可能会反过来修正“瞬时层”中某些关系的置信度。例如如果抽象出“一场会议”那么之前瞬时层中两个“交谈”关系可能会被强化而一些无关的“看向”关系可能会被降权。这形成了一个动态的、自我修正的记忆系统。3.3 图检索与推理引擎这是系统的“思考引擎”。当用户问题输入后例如“穿红衣服的女人在进入房间后和谁发生了第一次对话”引擎的工作流程如下问题解析与查询生成首先使用一个文本解析模型如基于BERT的序列标注从问题中提取出查询实体“穿红衣服的女人”、“房间”、时间约束“进入房间后”、关系路径“和…发生…对话”。然后将这些元素转换为一个或多个图查询语句如Cypher语言。分层检索利用时间约束定位到“情节层”中“穿红衣服的女人进入房间”这个事件节点。以该事件节点为起点在知识图谱中执行双向广度优先搜索BFS或个性化PageRank寻找在时间上紧随其后、且关系为“交谈”或“对话”的边和节点。搜索过程会受到“语义层”的引导。例如“对话”通常发生在“人”与“人”之间这可以优先排除掉与“物体”相连的边加快搜索速度。子图提取与推理检索到的可能不是一个单一节点而是一个包含多个候选人和交互的子图。此时引擎会调用一个基于GNN的推理模块。该模块将候选子图、原始问题的文本嵌入、以及相关片段的视觉特征通过节点关联的时间戳回溯获取进行多模态融合计算每个候选答案的置信度得分。时序与因果验证对于涉及“第一次”、“然后”、“导致”这类时序或因果的问题引擎会检查候选事件在时间轴上的顺序或利用图谱中已标注的因果边如“摔倒”可能“导致”“医疗救助”进行验证。踩过的坑最初的检索策略过于依赖文本查询的精确匹配但当视频描述中“穿红衣服的女人”在文本标签里只是“人物_23”时检索就会失败。后来我们引入了跨模态对齐在构建图谱时不仅存储ID还为每个实体节点存储其视觉特征嵌入。检索时将问题中的“穿红衣服”通过CLIP等模型编码为文本特征然后在图谱中搜索视觉特征与之最接近的“人物”节点。这大大提升了检索的鲁棒性。3.4 多模态答案生成器检索推理引擎输出的是一个或多个高度结构化的答案候选例如(事件: 对话 参与者: [人物_23红衣女人 人物_45] 时间: 01:15:30)。但最终用户需要的是自然语言答案。我们的答案生成器是一个条件文本生成模型如T5或LLaMA的视觉语言版本。它的输入是1推理引擎输出的结构化答案子图以线性化序列表示2与答案相关的最具判别性的几帧图像或短片段特征。生成器被训练的任务是根据这些多模态证据生成一个流畅、准确、自然的句子例如“穿红衣服的女人在下午1点15分左右进入房间后与一位戴眼镜的男士进行了第一次对话。”关键技巧我们发现在训练生成器时加入“负例”非常有效。即不仅教它根据正确证据生成正确答案还教它当证据不足或矛盾时生成“根据视频信息无法确定……”或“视频中未显示……”这样的拒绝性回答。这显著提高了系统在开放域问答中的可靠性和诚实性避免了“幻觉”。4. 在CVPR 2026 CASTLE挑战赛中的实战应用与调优CASTLE挑战赛的数据集极具代表性包含数十个长达2-4小时的多摄像头监控视频模拟商场、机场、街道场景以及叙事性长视频如纪录片片段。问题类型涵盖简单的事实查询“穿蓝色衬衫的人去了哪里”、复杂的时序推理“事件A和事件B哪个先发生”、因果分析“为什么人群突然开始奔跑”以及假设性提问“如果这个人没有捡起钥匙接下来会发生什么”。4.1 针对赛题的定制化设计多视角融合策略我们为每个摄像头视角独立构建知识图谱但设立一个“全局实体注册表”。当一个实体如一个特定行人在多个视角中被检测并跟踪后系统会尝试通过外观特征ReID模型和时空一致性3D投影进行跨视角ID融合。融合成功后该实体在不同视角图谱中的节点会被链接起来形成一个“超节点”从而实现了跨视角信息的统一查询。长时序依赖建模为了回答“视频前半段和后半段主角的行为模式有何变化”这类问题我们除了依赖“情节层”的事件链还引入了时间图注意力网络。在推理时该网络可以沿着时间轴对相隔甚远但语义相关的事件节点如“第一次出现焦虑动作”和“最后一次出现焦虑动作”进行注意力加权从而捕捉长期的行为演变模式。对“幻觉”的强力抑制长视频问答中模型最容易犯的错误就是根据短期模式或偏见“脑补”出未发生的细节。我们采用了三重机制抑制幻觉检索证据强制关联答案生成器在解码每一个词时都必须从输入的多模态证据图谱子图、图像特征中计算注意力权重。我们设置了损失函数惩罚那些没有足够证据支持的词元生成。不确定性校准推理引擎会为每个答案候选输出一个置信度分数。我们设置了一个动态阈值低于阈值的答案将触发“信息不足”的回复而不是猜测。一致性校验对于生成的答案系统会尝试用答案中的关键信息反向在图谱中查询验证。如果找不到支持则答案被驳回。4.2 参数调优与效率平衡关键帧采样率这是一个权衡点。采样太密计算负担重图谱臃肿采样太疏丢失关键瞬间。我们最终采用动态策略基础采样1 fps但当场景变化检测分数或运动幅度超过阈值时临时提升至5-8 fps。这使我们在保持整体处理速度的同时对高动态片段有了更细的把握。图谱抽象频率“瞬时层”到“情节层”的抽象不是每时每刻进行。我们设定每处理完60秒视频或累积了500个新三元组后触发一次轻量级抽象。完整的、深度的图谱重构则在视频处理到1/4、1/2、3/4处和结束时进行。这种“小步快跑”加“定期大扫除”的策略平衡了实时性和图谱质量。检索深度与广度在图检索时无限制的搜索是不可行的。我们根据问题复杂度动态设置搜索步数BFS的深度。对于简单事实问题深度为2-3对于复杂推理问题深度可能扩展到5-6但同时会利用“语义层”的先验知识进行剪枝大幅减少搜索空间。4.3 比赛中的表现与不足我们的系统在“时序推理”和“因果关联”类题目上得分显著高于基线模型和许多端到端大模型方案这直接证明了分层知识图谱在结构化记忆和逻辑推理上的优势。在“多视角定位”任务上由于我们设计了跨视角实体融合模块表现也名列前茅。然而我们也暴露了不足对模糊和主观问题的处理例如问题“这个人看起来可疑吗”我们的系统虽然能罗列出该人物的所有行为徘徊、张望、与他人短暂接触但难以做出一个综合的、带有人类主观色彩的“可疑”判断。这需要引入更复杂的价值判断模型或与大型语言模型LLM进行更深度的结合利用LLM的常识和推理能力。初始阶段的信息缺失在视频刚开始播放的几分钟内知识图谱还很稀疏此时回答需要长期上下文的问题准确率会下降。我们采用的缓解策略是在回答时明确告知用户“基于目前已观看的视频内容答案是……”并随着视频播放答案可以动态更新。计算开销虽然比端到端处理长视频要高效但实时构建和更新知识图谱仍然需要可观的GPU资源。在比赛中我们是在离线环境下处理完整个视频后再进行问答。如何进一步优化实现近实时的长视频流理解是工程上的下一个挑战。5. 总结与未来展望超越竞赛的实用化路径拿下CVPR 2026 CASTLE的季军是对我们这套“智能体分层知识图谱”技术路线的有力肯定。它证明面对超长、多视角视频理解这个难题采用“分而治之”、“记忆外化”、“结构化推理”的策略比一味追求更大的单体模型更为有效和可解释。从实验室走向实际应用我认为有几个关键方向需要深耕与大型语言模型LLM的深度融合我们目前的系统LLM主要用在最后的答案生成和部分问题解析。未来LLM可以更深入地参与进来作为“高级认知引擎”指导智能体应该关注视频中的哪些部分主动感知帮助进行更复杂的情节抽象和常识推理例如将“翻找抽屉”、“查看文件”、“用手机拍照”一系列动作抽象为“可能在进行商业间谍行为”甚至直接对知识图谱进行查询和逻辑推理。让LLM成为智能体的“指挥官”和“分析师”而视觉模块和知识图谱作为其“眼睛”和“结构化记忆库”。增量学习与终身记忆当前的系统是针对单个视频构建的临时图谱。在实际部署中如智慧城市安防系统需要持续处理无数个视频流。我们需要研究如何让知识图谱支持增量更新和长期记忆能够将不同时间、不同地点视频中学到的模式进行融合、泛化并遗忘过时信息。这涉及到图数据库的版本管理、知识融合与冲突解决等核心问题。面向垂直领域的快速定制通用长视频理解难度极大但在特定领域如工业质检、医疗手术分析、体育训练场景和规则相对固定。我们可以为这些领域预构建强相关的“语义层”知识领域本体并针对特定类型的活动和事件优化“情节层”的抽象规则。这样能极大降低数据需求提升在垂直场景中的准确率和效率。效率的极致优化要实现真正的实时或近实时应用必须在算法和工程上双管齐下。算法上探索更轻量的视觉特征提取器、更高效的图神经网络推理算法。工程上利用异构计算CPU/GPU/专用AI芯片、流水线并行、以及内存数据库等技术优化从视频解码、特征提取到图谱更新、查询响应的全链路延迟。这次竞赛经历让我深刻体会到解决AI的“长上下文”问题或许不能只靠把模型“喂”得更大而是需要为AI设计更接近人类认知的“思考工具”和“记忆方法”。分层知识图谱与智能体协同的框架正是这样一次有意义的尝试。它或许不是最终答案但无疑指明了一条充满希望且可解释性更强的技术路径。对于有志于踏入视频理解特别是长视频分析领域的同行我建议不妨从构建一个简单的单视频知识图谱开始亲自体验一下这种“结构化理解”带来的不同视角这远比单纯调参训练一个黑箱模型更有启发性。