企业AI落地第一步-智能问答带你拆解一个能看懂图片的智能问答系统大家好最近我们在帮几家企业做内部AI落地的时候发现了一个非常有意思的共性痛点HR团队每天要花大量时间回答员工的重复问题。“年假还有几天”“这个月的社保扣了多少”“离职流程怎么走”……这些问题虽然简单但每天几百条砸过来真的让人崩溃。为了解决这个问题我们设计并落地了一套人力智能问答系统。这不仅仅是一个简单的“一问一答”机器人更是一个能真正理解员工意图、甚至能“看懂图片”的智能助手。今天我纯粹从技术角度带大家拆解一下这套系统是怎么做出来的特别是我们最近刚升级的多模态能力希望能给同样在探索企业AI落地的同行们一些启发。1. 为什么要做这套系统传统的FAQ机器人大家应该都用过体验往往很差你问“年假怎么算”它回你“对不起我没听懂”。为什么因为它只能做字面匹配。我们希望做到的是真正理解员工在问什么。比如员工问“社保公积金缴纳比例是多少”系统能从长篇大论的政策文件里精准提取出一个结构化的表格。员工上传一张工资条的局部截图问“这个扣款项是什么意思”系统能看懂截图并结合公司的薪酬制度给出解释。为了实现这个目标我们把系统架构设计成了这样简单来说就是把传统的“搜索匹配”升级成了“多级检索大模型生成”底层接入了千问大模型和各种向量化模型上层对接企业微信和Web端。2. 核心技术拆解多级检索策略为了保证回答的准确率我们设定的目标是≥90%同时控制响应时间我们设计了一套多级检索策略像漏斗一样层层过滤缓存层如果这个问题最近24小时内有人问过通过MD5哈希比对直接从Redis秒回。FAQ精确匹配如果问题和知识库里的标准问题一模一样直接返回预设答案。FAQ语义匹配如果字面不一样但意思一样比如“年假有几天”和“带薪休假怎么算”我们用BM25算法加上Softmax归一化打分超过0.85阈值的直接命中。多模态RAG检索重点如果前面都没命中而且员工上传了图片系统就会进入多模态模式。这个我们后面详细讲。纯文本RAG检索把员工的问题向量化我们用的是BGE模型去Milvus向量库里捞最相关的政策片段然后扔给大模型让它结合片段生成答案并附上原文链接。兜底回复实在不知道的引导员工转人工。3. 重头戏让系统“看懂”图片这是我们在最新版本里重点攻克的技术难点。很多时候员工的问题很难用文字描述清楚。比如打卡系统报错了直接发个截图比打字说半天管用得多。为了实现这个能力我们在架构里引入了多模态处理流管理端自动提取图片素材HR在上传政策文档比如Word或PDF时系统会自动把文档里的流程图、表格截图、操作指引提取出来。提取出的图片会保存到专门的存储服务里。同时调用多模态大模型给这张图片生成一段文本描述。最后用CLIP模型把图片变成向量存进Milvus的一个独立Collection专门存图片向量。员工端图文混合提问与多模态检索员工可以上传一张图片并附上一句话。比如发一张打卡异常截图问“这个打卡记录显示异常怎么办”。当员工带图提问时系统会走下面这个流程意图识别发现有图片自动切入多模态模式。图片理解用多模态模型看看员工发的图片里有什么。混合检索用文本向量去搜文本库用图片向量去搜图片库甚至用图片搜文本、用文本搜图片。融合生成把检索出来的文本段落和图片素材打包一起喂给大模型生成一个图文并茂的回答。比如员工问“离职流程怎么走”系统不仅会用文字分步骤说明还会直接把《员工手册》里的那张离职流程图贴出来。这种体验比干巴巴的一段文字好太多了。4. 那些踩过的坑和经验在落地过程中我们也踩了不少坑这里分享几个经验数据隔离很重要很多公司希望HR、财务、IT都用这套系统。千万不要把数据混在一起我们在设计时通过配置实现了模块化的隔离不同的MySQL库、不同的Milvus Collection保证HR的问题绝对不会搜出财务的答案。降级策略必须有多模态模型有时候会抽风或者图片存储服务挂了。这时候系统不能直接报错必须能自动降级到纯文本RAG模式保证基本的问答还能用。扫描版PDF是永远的痛现在的文档解析工具对纯文本PDF支持很好但如果是扫描件特别是带盖章、手写签名的必须外接专业的OCR服务才能搞定。5. 写在最后这套系统上线后我们帮客户统计了一下问答命中率稳定在80%以上HR团队每天处理答疑的时间至少减少了一半。从技术上看大模型时代的企业知识库正在从“文本检索”向“多模态理解”演进。能看懂图片、能处理复杂表格、能理解长流程这才是真正有用的AI助手。