GPASS AI 眼镜智能体开发者大赛参赛作品赛道AI眼镜助力生产办公提效 无显示AI眼镜赛道一、产品概述1.1 一句话介绍知面是一款运行在AI眼镜上的社交记忆智能体通过语音视觉双模态协作帮助商务人士记住见过的每一个人。Slogan戴上眼镜再也不忘任何人1.2 核心场景场景操作效果商务交流中/后语音说帮我记一下AI自动从对话中提取人物信息并存档初次见面语音说拍照存档将人脸与档案关联再次相遇语音说这是谁AI耳返“这是张伟XX科技副总上次聊了合作”见面前准备语音说帮我准备见张伟AI给出破冰话题和跟进建议信息变更语音说更新张伟的信息AI将新信息合并到已有档案1.3 目标用户销售/BD、创业者/高管、政务/公关等需要频繁社交的商务人群。二、技术架构2.1 整体架构图┌──────────────────────────────────────────────────────────────┐ │ AI 眼镜端GPASS │ │ │ │ 麦克风 ──→ 持续监听 ──→ 语音转文字 ──→ 当前对话信息 │ │ 摄像头 ──→ 拍照采集 ──→ 图片URL │ │ 扬声器 ←── 语音播报 │ └──────────────────────┬───────────────────────────────────────┘ │ 每次用户说话触发一轮工作流 ▼ ┌──────────────────────────────────────────────────────────────┐ │ 百宝箱智能体工作流 │ │ │ │ ┌────────────────┐ ┌────────────┐ │ │ │ 大模型-意图识别 │ → │ 分支节点 │ │ │ └────────────────┘ └─────┬──────┘ │ │ │ │ │ ┌──────────────────────────┼────────────────────────┐ │ │ │ ├→ RECORD [大模型提取] → [saveToKnowledge] │ │ │ │ ├→ REGISTER[拍照] → [registerFace] │ │ │ │ ├→ RECOGNIZE[拍照] → [searchFace] → [知识库] → 播报│ │ │ │ ├→ RECALL [提取人名] → [知识库] → [大模型] → 播报 │ │ │ │ ├→ UPDATE [提取人名] → [知识库] → [合并] → 写入 │ │ │ │ └→ OTHER 我在呢。 │ │ │ └───────────────────────────────────────────────────┘ │ │ │ │ ┌────────────────────────────────────────────────────────┐ │ │ │ 自定义Python插件 │ │ │ │ • searchFace阿里云人脸搜索1:N流式上传 │ │ │ │ • registerFace阿里云人脸注册流式上传 │ │ │ │ • saveToKnowledge百宝箱知识库结构化写入 │ │ │ └────────────────────────────────────────────────────────┘ │ │ │ │ ┌────────────────────────┐ ┌────────────────────────────┐ │ │ │ 百宝箱知识库动态表格│ │ 阿里云人脸数据库 │ │ │ │ 结构化CSV8字段 │ │ 人脸特征向量 entityId │ │ │ └────────────────────────┘ └────────────────────────────┘ │ └──────────────────────────────────────────────────────────────┘2.2 交互模型与传统按键触发的设计不同知面采用持续监听语音指令模式眼镜持续监听用户语音每次说话自动转文字转文字结果作为当前对话信息触发一轮工作流工作流保留30轮历史对话支持上下文关联无需镜腿手势操作全语音交互2.3 数据关联设计人脸数据库与知识库通过entityId关联阿里云人脸库 百宝箱知识库结构化动态表格 ┌──────────────────────┐ ┌──────────────────────────────┐ │ entityId: zhangwei_ │ │ entityId: zhangwei_20260708 │ │ 20260708 │ ────────→ │ name: 张伟 │ │ extra_data: 张伟 │ │ company: XX科技 │ │ 人脸向量: [...] │ │ position: 副总裁 │ └──────────────────────┘ │ summary: 聊了AI合作 │ │ personal: 爱喝龙井茶 │ │ followUp: 下周确认合同 │ │ meetDate: 2026-07-08 10:00:00 │ └──────────────────────────────┘entityId 生成规则姓名全拼小写 下划线 首次见面日期YYYYMMDD如zhangwei_20260708。三、百宝箱工作流机制3.1 平台概述「百宝箱」是蚂蚁集团提供的智能体低代码开发平台支持通过拖拽节点方式搭建 AI 工作流无需关心眼镜硬件底层即可开发 GPASS 智能眼镜应用。3.2 工作流运行机制百宝箱工作流本质是一个有向无环图DAG由各种功能节点串联而成。每轮用户输入触发一次完整执行用户语音输入 → 开始节点 → 节点1 → 节点2 → ... → 直接回复 → 结束 ↑ 注入上下文 • 当前对话信息本次语音转文字 • 历史对话信息前N轮对话记录 • 触发时间等系统变量关键特性单轮执行每次用户说话触发一轮工作流完整执行执行完即结束历史上下文开始节点可配置保留N轮历史对话本项目设为30轮后续节点可引用节点引用每个节点可引用前置节点的输出作为输入通过{{节点名.输出变量}}语法分支路由分支节点支持条件判断将流程导向不同链路顺序执行节点严格按连线顺序执行前一个完成后才执行下一个3.3 可用节点类型节点类型功能本项目使用场景开始工作流入口注入用户输入和上下文接收语音转文字、历史对话大模型调用LLM处理文本意图识别、信息提取、内容整理分支条件判断路由意图路由、空结果判断循环按序循环一定次数处理批量任务可用于批量处理多条记录参数提取从大模型JSON输出中提取字段提取name/entityId等结构化字段知识库语义/全文检索检索人物档案插件Python执行自定义代码人脸搜索/注册、知识库写入插件眼镜设备调用眼镜硬件能力拍照采集直接回复向用户输出文本语音播报各环节的确认和结果播报结束工作流终止每条链路末尾3.4 眼镜端插件百宝箱为 GPASS 智能眼镜提供了原生设备插件插件功能输出眼镜设备拍照采集控制摄像头拍照图片数据地址URL眼镜设备语音采集主动录音采集语音识别后的文本眼镜设备镜腿交互响应等待用户手势交互类型本项目仅使用拍照采集插件语音输入通过持续监听自动完成。3.5 自定义Python插件机制百宝箱支持上传自定义 Python 代码作为插件节点入口函数固定为def main(params: dict, context: dict) - dict参数传入通过params字典获取配置的输入参数返回值返回字典作为节点输出供后续节点引用依赖管理支持声明第三方 pip 包如alibabacloud_facebody20191230超时控制可配置执行超时时间本项目设为 15-20 秒隐藏参数支持设置大模型不可见的固定值参数如 API Key保障安全3.6 第三方服务集成阿里云视觉智能开放平台 — 人脸人体本项目使用阿里云视觉智能开放平台的人脸人体类能力实现人脸注册与搜索服务地址facebody.cn-shanghai.aliyuncs.com上海区域SDKalibabacloud_facebody20191230Python认证方式AccessKey ID AccessKey Secret使用的 API 能力API功能对应插件CreateFaceDb创建人脸数据库初始化时调用一次AddFaceEntity创建人脸样本EntityregisterFaceAddFaceAdvance添加人脸数据流式上传registerFaceSearchFaceAdvance人脸搜索1:N流式上传searchFaceAdvance 方法常规方法要求图片为上海地域 OSS 链接Advance 方法支持通过image_url_object参数传入 BytesIO 流兼容任意来源的图片 URL。本项目统一使用 Advance 方法确保兼容 GPASS 眼镜拍照返回的非 OSS 图片地址。人脸数据库设计数据库名称socialmemoryEntity 对应一个人物entityId 为唯一标识extra_data 字段存储人物姓名搜索返回时直接携带支持同一 Entity 添加多张人脸照片提升识别准确率百宝箱知识库 API本项目使用百宝箱平台提供的知识库 REST APIAPI功能地址updateDocument上传/更新结构化数据https://open.tbox.alipay.com/openapi/v1/knowledge/updateDocumentretrieve知识库语义召回https://api.tbox.cn/api/datasets/retrieve认证方式HeaderAuthorization携带 API-Key数据格式multipart/form-data上传 CSV 文件 tableSchema JSON更新模式UPSERT按主键 entityId 去重四、工作流设计3.1 入口意图识别 分支路由[开始30轮历史] → [大模型-意图识别] → [分支_2] ├── RECORD → 链路A记录新人 ├── REGISTER → 链路B拍照建档 ├── RECOGNIZE → 链路C拍照识人 ├── RECALL → 链路D语音回忆 ├── UPDATE → 链路E更新档案 └── 否则 → 我在呢。意图识别策略模型DeepSeek-V4-flash输出单个关键词分支节点按包含条件路由关键设计RECALL 和 UPDATE 必须包含具体人名才触发避免普通对话误触发排除规则用户与他人的寒暄/陈述不视为指令3.2 链路A记录新人RECORD[直接回复:好的马上处理。] → [大模型-提取信息] → [参数提取] → [saveToKnowledge] → [回复:已建立XX的档案]核心逻辑大模型从历史对话当前对话中提取对方的信息区分用户自己 vs 对方严格输出 JSONname、entityId、company、position、summary、personal、followUp、meetDateentityId 由大模型按规则生成拼音_日期通过 saveToKnowledge 以 UPSERT 模式写入结构化知识库信息提取规则用户说我是XX → 这是用户自己不提取用户称呼X总、“X哥” → 这是对方提取区分用户要做的事和对方要做的事不确定的字段填未知3.3 链路B拍照建档REGISTER[拍照采集] → [回复:正在匹配档案] → [大模型-从历史提取人名] → [参数提取] → [分支] ├── name存在 → [registerFace] → [回复:已保存XX的照片] └── name为空 → [回复:请先告知姓名再拍照建档]核心逻辑拍照后大模型从历史对话中找到最近记录的人物名字按相同规则生成 entityId确保与链路A存入的 entityId 一致调用阿里云人脸注册先创建 Entity再通过流式上传添加人脸数据extra_data 存储姓名后续搜索时直接返回3.4 链路C拍照识人RECOGNIZE[拍照采集] → [回复:正在匹配档案] → [searchFace] → [分支] ├── matchedtrue → [知识库:queryentityId] → [大模型-整理播报] → [回复] └── matched!true → [回复:没有匹配到已知的人物。]核心逻辑拍照后通过流式上传调用阿里云人脸搜索 1:N置信度阈值 ≥ 60 视为匹配成功匹配成功后用 entityId 精确检索知识库而非模糊语义搜索大模型将结构化档案整理为 ≤3句话的口语化播报3.5 链路D语音回忆RECALL[大模型-提取人名关键词] → [知识库:query人名] → [分支] ├── 有结果 → [大模型-整理回复] → [回复] └── 空结果 → [回复:没有找到相关记录需要帮您记录吗]核心逻辑先用大模型从用户输入中提取人名关键词可含公司名再用关键词检索知识库避免用整句话直接检索导致的误召回问题空结果兜底避免大模型在无数据时编造信息根据问题类型给出不同回复身份介绍 / 破冰建议3.6 链路E更新档案UPDATE[回复:正在更新档案。] → [大模型-提取人名] → [知识库:query人名] → [分支] ├── 有结果 → [大模型-合并档案] → [参数提取] → [saveToKnowledge(UPSERT)] → [回复:档案已更新] └── 空结果 → [回复:没有找到该人物的档案请先用「记一下」创建档案。]核心逻辑同样先提取人名再检索确保找到正确的人大模型将新信息与旧档案合并未提及的字段保持不变summary/personal/followUp 追加新内容分号分隔entityId 和 name 不变meetDate 更新为当前时间通过 UPSERT 模式覆盖写入五、自定义插件实现4.1 searchFace人脸搜索 — 流式上传版功能根据图片在人脸数据库中搜索匹配的人物技术要点先通过 urllib 下载图片为二进制数据使用SearchFaceAdvanceRequest通过 BytesIO 流式上传兼容非OSS域名的图片URLGPASS拍照返回的URL返回matched、entityId、confidence、extraData姓名核心代码importiofromurllib.requestimporturlopen,Requestfromalibabacloud_facebody20191230.clientimportClientfromalibabacloud_facebody20191230.modelsimportSearchFaceAdvanceRequestfromalibabacloud_tea_openapi.modelsimportConfigfromalibabacloud_tea_util.modelsimportRuntimeOptionsdefmain(params:dict,context:dict)-dict:urlparams.get(url,)# 下载图片为二进制reqRequest(url,headers{User-Agent:Mozilla/5.0})img_dataurlopen(req,timeout10).read()# 初始化客户端configConfig(access_key_idparams.get(accessKeyId,),access_key_secretparams.get(accessKeySecret,),endpointfacebody.cn-shanghai.aliyuncs.com)clientClient(config)# 流式上传搜索requestSearchFaceAdvanceRequest(db_namesocialmemory,image_url_objectio.BytesIO(img_data),limit1)responseclient.search_face_advance(request,RuntimeOptions())# 解析结果置信度60视为匹配# ...4.2 registerFace注册人脸 — 流式上传版功能将新认识的人的照片注册到人脸数据库技术要点两步操作AddFaceEntity创建人物条目AddFaceAdvance流式上传人脸Entity已存在时跳过创建幂等处理extra_data 存储姓名搜索时直接返回使用AddFaceAdvanceRequest的image_url_object参数实现流式上传4.3 saveToKnowledge结构化知识库写入功能将人物档案以结构化CSV格式写入百宝箱知识库技术要点使用百宝箱updateDocument接口typeSTRUCTURED数据格式CSV表头 数据行更新模式UPSERT按 entityId 主键存在则更新不存在则新增表结构定义tableSchema包含8个字段的完整元数据知识库表结构字段类型说明主键索引entityIdSTRING人物唯一ID✅✅nameSTRING姓名✅companySTRING公司positionSTRING职位summaryTEXT交流摘要✅personalTEXT个人偏好followUpTEXT待跟进meetDateDATETIME见面时间六、知识库设计5.1 存储方式采用结构化动态表格而非非结构化文档优势字段明确支持精确检索UPSERT 模式天然支持档案更新entityId 作为主键保证唯一性5.2 检索策略场景检索方式query 来源识人链路CentityId 精确匹配searchFace 返回的 entityId回忆链路D人名语义检索大模型从用户输入提取的人名关键词更新链路E人名语义检索大模型从用户输入提取的人名关键词5.3 检索配置匹配策略智能检索最大结果数1最小匹配度0.500语义精排关闭七、技术亮点6.1 持续监听 意图路由不同于传统的按键触发模式知面采用持续监听方案。眼镜始终听用户说话AI自动判断何时需要介入。用户无需刻意切换模式对话中随时说记一下即可触发记录。6.2 流式上传兼容性阿里云人脸API要求图片为OSS地址或公网URL。GPASS拍照返回的URL可能不符合阿里云要求。通过先下载图片再以 BytesIO 流式上传完美兼容任何来源的图片URL。6.3 结构化知识库 UPSERT使用结构化CSV格式存储人物档案配合 UPSERT 模式首次记录插入新行更新信息按 entityId 主键匹配覆盖对应字段天然去重不会产生重复档案6.4 人名精确检索RECALL 和 UPDATE 链路先用大模型提取人名关键词再用人名检索知识库。避免用整句话如刘翔跳槽到阿里巴巴更新一下直接语义检索导致的误召回可能匹配到含阿里巴巴的其他人档案。6.5 意图防误触意图识别 prompt 严格约束RECALL/UPDATE 必须同时满足包含人名“包含指令词”普通对话寒暄、与他人交流一律归为 OTHER确保用户与客户聊天时不会误触发 AI 操作6.6 语音视觉双模态闭环录音记人语音 拍照识人视觉两种模态协作记录 → 建档语音记录人物信息后拍照关联人脸识人 → 回忆拍照识别身份后语音补充询问更多信息完整闭环覆盖认识 → 记录 → 回忆 → 更新全生命周期八、使用说明快速上手佩戴眼镜开始与人交流交流中/后说“帮我记一下”→ AI 从对话中自动提取信息并存档说“拍照存档”→ 眼镜拍照将人脸与刚才记录的档案关联再次遇到此人时说“这是谁”→ 眼镜拍照识别 → AI耳返身份信息见面前说“帮我准备见张伟”→ AI给出破冰话题和跟进建议信息变化时说“更新张伟的信息他跳槽到XX公司了”→ 档案自动更新典型使用流程参加行业交流会 → 与人交谈 → 帮我记一下 → AI存档 ↓ 拍照存档 → 人脸关联 ↓ 下次偶遇 → 这是谁 → AI耳返提醒 ↓ 会前准备 → 帮我准备见张伟 → AI给建议九、未来演进阶段功能当前比赛版5大链路完整闭环记录/建档/识人/回忆/更新中期产品化关键词唤醒建档、知识图谱后端、日程关联自动提醒长期完整形态全程对话自动记录、团队共享人脉库、AI社交分析月报
