# CampusWorkGlasses第一视角教学会议纪要 AI 眼镜助手## 一、项目背景在教研会、备课会、研究生组会和毕业答辩中教师往往需要同时参与讨论、查看白板或 PPT并记录结论与待办。传统的手写纪要、手机录音和录音笔都会打断会议参与过程而且无法自然记录教师当时正在观看的白板、试卷或演示文稿。CampusWorkGlasses 是一款面向 Rokid AI 眼镜的第一视角教学会议助手。教师可以通过自然语言完成会议进入、会中记录、拍照识别、重点标记和会议结束。系统将语音与第一视角图像转化为结构化会议纪要、待办和教学动作建议构建“会议记录 - 结论提炼 - 教学待办 - 后续检索”的闭环。## 二、目标用户与应用场景| 场景 | 主要用户 | 核心价值 || --- | --- | --- || 教研会、备课会 | 教研组教师 | 免手记录纪要把教研结论转为教学改进待办 || 研究生组会 | 导师、研究生 | 记录进展与下一步任务 || 毕业答辩、中期检查 | 导师、答辩组 | 将导师意见整理为修改清单 || 日常办公会议 | 职场用户 | 生成议题、结论、负责人和截止时间 |## 三、系统架构CampusWorkGlasses 采用端云协同架构。眼镜端负责语音、图像和轻交互采集百宝箱云端工作流负责多模态理解、结构化提取和结果生成。mermaidflowchart LRA[Rokid AI 眼镜] --|\u8bed音 / \u56fe像 / \u624b势\u6307\u4ee4| B[GPASS 端侧能力]B -- C[百宝箱工作流]C -- D[参数提取与意图识别]C -- E[眼镜拍照插件]E -- F[VL 视觉识别]D -- G[文本大模型]F -- GG -- H[纪要 / 待办 / 教学动作]H -- I[眼镜端播报]### 3.1 眼镜端眼镜端承担轻量、实时和第一视角的交互能力- 通过麦克风采集用户指令与会议信息。- 通过摄像头拍摄白板、PPT、试卷、文档或便签。- 通过镜腿轻交互触发重点标记或任务生成。- 接收云端返回的精简文本或语音播报。- 在退出分支中接收 GPASS 指令卡片结束智能体。### 3.2 云端百宝箱云端负责较复杂的理解与编排- 理解自然语言指令并提取会议参数。- 区分拍照、退出与普通会议指令。- 对第一视角图像执行 OCR 和会议信息提炼。- 生成结构化会议纪要、待办和教学动作。- 为后续知识库、日历或办公协同平台接入预留扩展能力。## 四、工作流设计### 4.1 开始节点开始节点接收当前对话、历史对话、当前图片、会话 ID、对话 ID、触发时间和设备信息等环境参数。### 4.2 参数提取节点参数提取节点将用户的口语化指令转换为结构化字段包括- 动作- 会议类型- 会议主题- 开始时间- 地点- 参会人- 负责人- 事项- 截止时间- 原始指令字段缺失时不自动编造而是在输出中标记为“待确认”。### 4.3 图片分支工作流检查图片 URL 是否为空- 存在图片时进入视觉识别链路。- 不存在图片时进入语音和文本意图识别链路。### 4.4 意图识别节点当前工作流识别三类意图1. 拍照调用眼镜设备拍照插件。2. 退出下发 GPASS 退出指令。3. 其他交给文本大模型处理订会、记录、标重点、生成待办和结束会议等请求。### 4.5 眼镜设备拍照插件当用户说“记录一下白板”或触发对应交互后云端下发拍照指令。眼镜端播放提示语完成自动拍摄并上传图像。插件输出拍照状态、图片数据地址与重试信息。该插件必须在真实 Rokid 眼镜上联调Web 页面无法模拟端侧拍照指令。### 4.6 VL 视觉模型节点VL 模型使用 Qwen-VL-Max-0408用于识别白板、PPT、试卷、文档和便签。视觉链路遵循以下规则- 无有效图片或拍照失败时只输出失败提示不生成 OCR 结果。- 忠实提取画面中清晰可见的标题、正文、表格、人名、日期和数字。- 模糊或遮挡内容标记为“待确认”。- 不执行人脸身份识别不根据外貌推断参会者。视觉模型输出格式如下text【视觉存档】类型主题OCR 原文会议信息议题结论待办线索负责人事项截止时间待确认播报画面内容已记录。### 4.7 文本大模型节点文本处理使用 Qwen3.7-max负责订会、会中记录、重点提炼、待办抽取、纪要生成与教学动作识别。主要处理规则包括- 订会指令输出会议主题、类型、时间、地点和参会人。- 普通会中发言优先输出简短的“已记录”减少对会议的干扰。- 标记重点时输出结论、依据、影响和待确认项。- 生成待办时使用“负责人事项截止时间”格式。- 结束会议时输出会议名称、时间地点、参会人、议题与结论、待办、教学动作和待确认信息。- 在没有实际日历、知识库或消息平台插件时不虚构“已预约”“已分发”或“已写入”等外部操作。### 4.8 结束与退出节点普通处理链路在结束节点只配置一类文本消息避免多种消息同时下发后发生替换。退出链路使用官方 GPASS 指令卡片通知眼镜端结束智能体。## 五、会议纪要输出设计会议结束后系统使用以下结构输出text【会议纪要】会议名称时间地点参会人【议题与结论】1.【待办】负责人事项截止时间【教学动作】课程知识点 / 备课调整 / 学生任务建议【待确认】该格式同时兼顾眼镜端精简播报和后续任务卡、知识库或日历系统的字段映射。## 六、典型交互示例用户说 结束教研会期末试卷整体偏难王老师 7 月 15 日前重出压轴题公开课改用会议室预约案例陈老师 7 月 20 日前备好新案例。系统输出text【会议纪要】会议名称期末教学教研会【议题与结论】1. 期末试卷整体偏难压轴题需下调难度。2. 公开课改用“会议室预约”真实案例。【待办】王老师重出压轴题7 月 15 日前陈老师备好公开课新案例7 月 20 日前【教学动作】将公开课案例调整建议纳入下周备课任务。## 七、安全性与可靠性设计1. 失败优先拍照或图像加载失败时停止视觉推断。2. 减少幻觉缺失信息标记为“待确认”不自动补写。3. 隐私保护不对画面中的人脸进行身份识别。4. 能力边界没有实际插件时不声称已完成外部任务。5. 端侧消息控制结束节点仅下发一种消息避免消息相互覆盖。## 八、项目创新点### 8.1 第一视角多模态记录眼镜可以自然捕获用户当前正在观看的白板、PPT 或试卷不需要中断讨论去拿手机拍照。### 8.2 免手交互系统以语音为主交互方式结合镜腿轻交互降低正式会议中的操作干扰。### 8.3 会议与教学闭环输出不只是摘要还包括负责人、截止时间和教学动作为课程知识沉淀、备课调整和学生任务卡提供结构化基础。### 8.4 端云协同眼镜端专注感知与轻交互复杂的 OCR、多模态理解和结构化推理在云端执行在能力与端侧功耗之间取得平衡。## 九、调试与发布### 9.1 Web 调试Web 调试适合验证文本指令、参数提取、意图识别和纪要输出。眼镜设备拍照插件会向真实设备下发指令因此不能在 Web 页面完成最终验证。### 9.2 真机调试工作流提交预览后可在 Rokid App 的“设置 - 开发者 - 智能体调试”中找到应用并在真实眼镜上验证- 语音指令识别。- 眼镜拍照与图像上传。- 白板和 PPT OCR。- 纪要与待办播报。- 退出指令。### 9.3 发布信息- Agent Name第一视角教学会议纪要 AI 眼镜助手- Agent ID202607APBshV20073170- 当前发布版本1.0## 十、后续规划1. 建立课程知识库支持“上次会议结论是什么”等语音查询。2. 接入日历、待办或办公协同平台 API实现任务卡和截止时间提醒。3. 建立会议结论的销项机制在下次会议中自动带出上次待办执行情况。4. 扩展学生任务卡和答辩修改清单覆盖更多教学管理场景。5. 持续优化眼镜端播报长度保持“结论先行、单次精简”的交互体验。## 结语CampusWorkGlasses 将 Rokid AI 眼镜的第一视角感知能力与百宝箱的多模态工作流结合让教师在不打断讨论的情况下完成会议记录、视觉存档、纪要生成和待办提取。项目的长期目标不是只生成一份纪要而是让每次会议的结论真正进入教学执行与知识沉淀流程。