
一、引言:计数——视觉推理的"照妖镜"“图片中一共有多少个物体?”——这个问题对人类来说轻而易举,但对当前最强的多模态大模型(MLLM)而言却是公认的软肋。2026年,GPT-4o、Qwen2-VL、Gemini 1.5 Pro 在简单场景(5个物体)的计数准确率可达90%以上,但当物体数量超过10个、存在遮挡、密集排列或类别混杂时,准确率骤降至40-60%。为什么计数如此困难?• 视觉 Token 的信息瓶颈:ViT 将图像压缩为固定数量的 Patch Token,密集场景下多个物体可能共享同一个 Patch• 语言先验干扰:模型倾向于输出"一些""许多"等模糊量词而非精确数字• 缺乏显式计数机制:自回归生成不擅长"逐个数"的精确枚举• 注意力分散:多个相似物体竞争模型的注意力资源本文将从视觉计数引擎的角度,系统性地解决这一难题——结合检测、分割、推理、验证的多阶段架构,实现高精度的视觉计数。二、技术背景2.1 视觉计数的范式演进时代 代表方法 核心思路 准确率(10物体)2018-2020 YOLO + 计数 检测后计数 ~60%2020-2022 Crowd Counting CNN 密度图回归 ~75%2022-2024 VLM 直接问答 端到端生成数字 ~45%2024-2026 推理引擎 检测+验证+推理 ~90%+2.2 核心挑战遮挡问题:部分遮挡的物体容易被漏检相似物体混淆:不同类别的物体需要区分计数极小