拆解 Clef-Flash 架构Qwen3.5-9B Backbone 如何与小 Joint Schema Head 协作实现单次前向结构化输出【免费下载链接】clef-flash项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flashClef-Flash 是由 Cloudflare 开源的 9B 多模态结构化输出决策模型它以 Qwen3.5-9B 为 Backbone配合一个小型 Joint Schema Head把状态 问题 Schema一次前向传播直接变成每个问题、每个选项的概率全程没有自由文本生成也没有输出解析环节 ⚡1. 为什么需要结构化输出决策模型传统做法是让通用大模型生成 JSON再解析、校验、失败重试。这条链路有三个老问题❌解析可能失败模型偶尔输出格式不合法需要重试或兜底❌多轮延迟逐 token 自回归生成答案越长越慢❌概率不可比拿不到每个选项的真实概率分布置信度只能靠猜Clef-Flash 的思路是换一种输出范式把每个问题声明为带允许选项的 Schema模型对每个选项直接打一个 logit按问题做 softmax 即得概率。答案空间在输入时就锁死了输出必然是结构化的。核心设计一次前向传播 → 所有问题的所有选项各得一个 logit → 逐题 softmax → 结构化答案 置信度2. 仓库结构与文件分工 ️整个仓库就是一份开箱即跑的发布包每个文件职责清晰文件作用model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensorsQwen3.5-9B 主干权重含视觉编码器标准分片 safetensorsmodel.safetensors.index.json权重分片索引config.json主干模型配置文本 视觉joint_head.safetensors联合 Schema 头权重joint_head_config.json联合 Schema 头结构配置joint_schema_model.py记录编码、批处理、模型组装、load_release_model与systemoneAPItokenizer.json、tokenizer_config.json、chat_template.jinja分词器与对话模板processor_config.json图像/视频处理器配置generation_config.json生成配置本模型实际不用自回归生成LICENSEApache-2.0 许可3. 架构拆解大 Backbone 小 HeadClef-Flash 的推理模型由两部分组成对应 joint_schema_model.py 中的ClefModel见 joint_schema_model.py3.1 BackboneQwen3.5-9B 多模态主干config.json 显示主干保留了 Qwen3.5-9B 的完整能力32 层文本 Transformer隐层 4096词表 248,320支持最长 256K 位置编码混合注意力32 层中每 4 层出现一层全注意力full_attention_interval: 4其余为线性注意力长序列下更高效视觉编码器27 层patch_size16out_hidden_size4096与文本隐层对齐bfloat16 精度存储Backbone 负责理解读取纯文本、JSON 状态或经视觉编码器处理后的图像/视频产出全序列的最终隐状态。3.2 Joint Schema Head小而精的打分头对比 9B 的主干joint_head.safetensors 只有一个小 Transformer。其结构由 joint_head_config.json 定义参数值说明hidden_size4096与主干隐层对齐width1024头内部工作宽度routing_layers2证据路由层数layers4字段自处理层数heads16注意力头数feedforward4096FFN 宽度这个头JointSchemaHead见 joint_schema_model.py做四件事取证据把主干最终隐状态压成记忆各问题/选项在输入序列中的 token 跨度取平均得到向量路由证据2 层EvidenceRoutingLayer交叉注意力见 joint_schema_model.py让每个选项主动去序列中找证据联合打分4 层解码器让各问题互相感知输出字段向量 × 选项向量的余弦相似度 残差网络混合先验选项词面向量与主干输出嵌入做余弦相似度作为先验 logit与联合分数按可学习门控相加见 joint_schema_model.py关键词就在名字里——Joint联合所有问题的所有选项在同一次计算中互相参照地打分而不是各答各的。4. 单次前向的数据流 把 joint_schema_model.py 的forward拆开看整条流水线非常直接状态(文本/JSON/图像/视频) ─┐ ├→ encode_record 拼成一段带 Schema 的提示词 问题 Schema(题型选项) ────┘ │ ▼ Qwen3.5-9B Backbone一次前向use_cacheFalse │ last_hidden_state ▼ Joint Schema Head证据路由 联合打分 │ ▼ 每个问题 × 每个选项各 1 个 logit ──→ 逐题 softmax ──→ 概率两个值得注意的细节输入拼接encode_record 把状态渲染成文本把每个问题渲染成FIELD / ID / TYPE / INSTRUCTION / ALLOWED OPTIONS结构并记录每个问题和选项的 token 跨度供 Head 精准定位输出无生成ClefModel 直接取last_hidden_state不走自回归循环因此推理延迟稳定官方实测中位延迟约 39msp95 约 122ms5. 三种题型noul / choice / scoreSchema 里每个问题声明type、instructions和criteria共三种选项展开逻辑见 joint_schema_model.py题型含义输出noul真/假二选一true的概率choice命名选项多选一最高概率选项 全部选项概率score有序档位打分概率加权的期望分 置信度 图例一个最小输入示例来自 README.mdrecord { state: {invoice: {vendor: Acme, total: 1250.0, status: overdue}}, questions: { status: {type: choice, instructions: What is the invoice status?, criteria: {paid: Invoice is paid., overdue: Invoice is past due.}}, large: {type: noul, instructions: Is the total above 1000 USD?}, }, }state可以是任意字符串或 JSON还可以挂imagesPIL 图片和videos帧数组实现多模态决策纯文本与多模态记录能混在同一个 batch 里。6. 快速上手5 步跑通 Clef-Flash依赖torch2.11 transformers5.10.2单卡 H200 验证通过from huggingface_hub import snapshot_download path snapshot_download(Cloudflare/clef-flash) from joint_schema_model import collate_records, encode_record, load_release_model model, processor load_release_model(path, devicecuda) encoded encode_record(processor.tokenizer, record, processorprocessor) batch collate_records([encoded], processor.tokenizer.pad_token_id, torch.device(cuda)) logits model(batch)[0] # 一次前向拿到全部问题的全部选项 logit加载入口 load_release_model 会自动装配主干 联合头 处理器如果对接 Jev/SystemOne 服务可以直接用 systemone传入请求体即返回标准响应answers按问题 ID 组织含confidence与probabilities。7. 性能表现更快还是更准官方在 Decision Index 0.2.1 套件上给出了对比数据节选自 README.md基准Clef-FlashJevBFCLcase exact accuracy98.895.8API-Bankaccuracy93.188.2MMLUaccuracy91.891.7ARC-Easyaccuracy99.599.3WinoGrandeaccuracy97.592.0中位延迟ms越低越好38.8524.1p95 延迟ms122.4536.09B 的体量 无生成式输出让 Clef-Flash 在多数决策类基准上追平甚至超过更大模型延迟只有后者的零头。8. 总结Clef-Flash 的架构可以浓缩成一句话Qwen3.5-9B 负责看懂Joint Schema Head 负责打分一次前向全选项概率。对需要稳定结构化输出的业务发票处理、客服路由、安全事件分诊等它提供了一条绕过生成 JSON 解析的老路声明 Schema、拿到概率、按置信度决策。模型文件、头配置与完整推理代码都在本仓库内Apache-2.0 许可可直接落地 【免费下载链接】clef-flash项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef-flash创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考