论文OpenVLA: An Open-Source Vision-Language-Action ModelStanford / UC Berkeley / Google DeepMind / TRI / Carnegie Mellon 等2024发布时间2024 年 6 月 13 日arXiv v1v3 修订于 2024 年 9 月 5 日作者Moo Jin Kim、Karl Pertsch、Siddharth Karamcheti、Ted Xiao、Ashwin Balakrishna、Suraj Nair、Rafael Rafailov、Ethan Foster、Grace Lam、Pannag Sanketi、Quan Vuong、Thomas Kollar、Benjamin Burchfiel、Russ Tedrake、Dorsa Sadigh、Sergey Levine、Percy Liang、Chelsea Finn共 18 人核心一句话用一个 7B 参数的开源 VLA在 970k 真机示教上训练就在 29 个跨本体任务上把 55B 的闭源 RT-2-X 反超 16.5%还能用 LoRA 在消费级 GPU 上微调、用 4-bit 量化在 7GB 显存里推理。配套资源项目主页https://openvla.github.io官方代码仓库PyTorch 训练管线 微调脚本 远程推理服务https://github.com/openvla/openvlaHuggingFace 模型权重OpenVLA-7B 主检查点https://huggingface.co/openvla/openvla-7bHuggingFace 组织页含 Prismatic 版与 LIBERO 微调变体https://huggingface.co/openvla核心关键词VLAVision-Language-Action Model把图像 语言指令直接映射为机器人动作 token 的端到端策略模型本质是把 VLM 的下一 token 预测扩展到动作空间。Open X-EmbodimentOpenX70 个机器人数据集、200 万 轨迹汇成的跨本体操作数据集是 OpenVLA 预训练的数据底座。Prismatic-7BOpenVLA 的 VLM 骨干由 SigLIP DinoV2 双视觉编码器 Llama 2 7B 组成融合了语义与空间特征。动作离散化action tokenization把连续动作按每维 256 桶离散化覆写到 Llama 词表的最后 256 个 token 上让动作预测变成下一 token 预测。LoRA 微调低秩适配只训 1.4% 参数即可追平全量微调把单任务微调压到单卡 A100、10–15 小时。4-bit 量化推理把 7B 模型的推理显存从 16.8GB 压到 7.0GB且成功率不降。跨本体泛化cross-embodiment同一策略开箱即用控制 WidowX、Google Robot、Franka 等不同本体并支持视觉/运动/物理/语义四类 OOD 泛化评测。带着问题阅读既然 RT-2 已经证明VLM 直接预测动作可行为什么机器人社区仍然用不起来OpenVLA 要拆掉的是哪三道墙把连续的 7 维动作塞进一个语言模型的词表具体怎么做为什么用分位数而不是 min-max同样是 7B 量级凭什么 OpenVLA 能在 BridgeData V2 上反超大它近 8 倍的 RT-2-X是数据、骨干、还是训练节奏的功劳开箱即用和快速微调这两种用法OpenVLA 在哪种任务上会被 Diffusion Policy 反超这说明 VLA 的软肋在哪LoRA 和 4-bit 量化真的不掉点吗8-bit 为什么反而崩了一个只看单张第三视角图像的策略离真正的通用操作还有多远论文自己承认了哪些天花板一、核心导读OpenVLA 的故事可以用一句话概括把机器人操作策略的训练从为每个任务造一个专用小模型转向在一个开源大模型上做语言模型式的微调。这件事在 NLP 里已经被 Llama 生态验证过无数次但在机器人领域一直卡在三个地方——模型闭源、没有高效的微调范式、消费级硬件跑不动。OpenVLA 同时回应了这三点。它的做法是高度工程化、甚至刻意求简的拿一个开源 VLM 骨干Prismatic-7BSigLIP DinoV2 Llama 2在 970k 条 OpenX 真机轨迹上把动作离散化成 256 个 token用标准的下一 token 预测做微调。结果是在 WidowX 与 Google Robot 两个本体共 29 个任务上7B 的 OpenVLA 把 55B 的闭源 RT-2-X 反超 16.5% 绝对成功率在 Franka 上的数据高效微调里它是唯一一个在所有任务上都 ≥50% 成功率的方法再加上 LoRA 与 4-bit 量化两件套让它能在消费级 GPU 上训、在 7GB 显存上跑。最后权重、代码、微调 notebook 全部开源。需要强调的是OpenVLA 的贡献不在提出新架构而在把一条已被验证的路线VLM → 动作 token做到开源、可微调、可消费级部署并给出系统性的设计决策与消融。它的价值更多是基础设施层面的——给社区一个可以站在上面继续做 VLA 研究的开放基座。二、问题背景作者到底想解决什么2.1 通用操作策略的泛化困境机器人操作策略最深的痛点是泛化为单个技能训出来的策略能扛住物体位置、光照的小幅变化却扛不住场景里的干扰物、没见过的物体、没见过的指令。而与此同时CLIP、SigLIP、Llama 2 这些在互联网规模数据上预训练的视觉/语言基础模型恰恰擅长这类泛化。这构成一个强烈的反差机器人数据哪怕做到百万级OpenX 也才 100K–1M 量级相比互联网图文数据仍是九牛一毛但可以直接借用后者学到的先验。这条思路的最直接落地就是 VLA不把视觉/语言模型当特征提取器拼到一个从头训的策略里而是直接对 VLM 做微调让它把动作当作一种 token 吐出来。RT-2 已经证明这条路能带来惊人的鲁棒性和泛化。2.2 阻碍 VLA 被广泛使用的两道墙但 RT-2 这类工作没法被社区真正用起来作者归纳为两点闭源模型架构、训练流程、数据配比都不公开研究者既看不进去也改不了。缺乏适配范式既有工作不告诉你拿到一个新机器人、新环境、新任务时怎么高效地把 VLA 调过去——尤其是在消费级硬件上。OpenVLA 的全部设计都围绕这两点开源、且系统性地研究微调与推理效率。这与 NLP 里 Llama 开源生态所催生的研究体量是同一套逻辑——作者明确说机器人也需要这样一个开源、可微调、可适配的通用 VLA 基座。三、核心思路用一句主线串起来把机器人动作预测伪装成一个语言建模问题于是所有 LLM 的训练/微调/推理工具链都能直接复用——再用更好的开源骨干 更大更干净的数据 更久的训练轮数在更小参数量下打掉闭源大模型最后用 LoRA 和量化把门槛降到消费级。这句主线解释了 OpenVLA 为什么几乎所有技术选择都求简它不发明新结构而是刻意让自己长在已有的 LLM 工具生态上这样规模化、微调、量化、推理加速全是免费的。四、方法展开沿着论文原始逻辑拆解4.1 模型架构一个标准 VLM加一个双视觉编码器的小心思图 1 是 OpenVLA 的总览输入一张图像 一条语言指令输出 7 维机器人控制动作。它支持多本体开箱即用并能通过参数高效微调适配新域权重与训练管线全部开源、可从 HuggingFace 拉取微调。具体到架构图 2它沿用现代 VLM 的三段式(1) 视觉编码器把图像切成 patch 得到图像嵌入(2) projector一个 2 层 MLP把视觉特征投到语言模型的输入空间(3) LLM 骨干用 Llama 2 7B。这里最值得注意的小心思是双视觉编码器OpenVLA 不用单一 CLIP/SigLIP而是同时用 SigLIP提供高层语义和 DinoV2提供低层空间细节把两者特征按通道拼接。作者的判断是机器人控制比 VQA 更吃空间精度——你要抓的东西在哪儿、朝哪个方向这种信息 DinoV2 比 SigLIP 给得更准。后续消融会证明这一点虽然效应比预训练数据小。OpenVLA 用的骨干是 Prismatic-7B它在 LLaVA 1.5 数据混合约 1M 图文/纯文样本上微调过。换言之OpenVLA 是站在一个已经看懂图、会语言的 VLM 肩膀上再去做动作预测的。4.2 训练流程把动作塞进语言模型的词表OpenVLA 的训练流程把动作预测严格写成视觉-语言任务图像 指令 → 一串动作 token。关键在动作如何变成 token逐维离散化对 7 维动作的每一维单独离散成 256 个桶。分位数定桶宽用训练数据该维的 1%–99% 分位数作为区间端点而不是 RT-2 用的 min-max。这是一个务实的改进min-max 会被极端离群动作撑爆区间、让有效粒度变粗分位数直接甩掉长尾。覆写词表Llama tokenizer 只留了 100 个特殊 token不够 256 个动作 token。作者干脆覆写 Llama 词表里使用最少的 256 个 token即最后 256 个为动作 token。这是个求简的决断——不动 tokenizer 结构。损失只算动作 token用标准下一 token 预测的交叉熵但只在动作 token 位置算 loss。这一步的设计哲学很统一凡是能让动作预测尽量像普通语言建模的就尽量像。于是 batch、混合精度、FlashAttention、FSDP 这些 LLM 训练基础设施照搬即可。4.3 训练数据970k 轨迹的配平工程OpenVLA 的预训练数据来自 Open X-EmbodimentOpenX但不是简单全量取用而是做了两层 curation统一输入输出空间只保留至少有一个第三视角相机、单臂末端执行器控制的数据集。这是为了让所有数据共享同一套观测/动作语义。配平混合借用 Octo 的数据混合权重——启发式地降权低多样性数据、加权高多样性数据。另外把后加入 OpenX 的 DROID 以 10% 保守权重混入但训练中发现 DROID 的动作 token 准确率一直偏低说明这个数据集的多样性暂时还拟合不动于是在最后 1/3 训练里把 DROID 拿掉以保证最终模型质量。这个细节很有信息量它说明数据多 ≠ 数据能用混合权重是一个需要在线监控、动态调整的工程旋钮而不是一次性配好的静态配方。最终数据集是 970k 条轨迹覆盖多种本体/场景/任务——这既是开箱即用控制多种机器人的前提也是微调时能提供强先验的来源。4.4 关键设计决策四条来自小规模实验的经验作者在 BridgeData V2 上做了大量小规模实验来定方案四条最关键VLM 骨干试过 IDEFICS-1、LLaVA、Prismatic。LLaVA 在多物体语言 grounding 任务上比 IDEFICS-1 高 35% 绝对成功率Prismatic 又比 LLaVA 高约 10%。归因于 SigLIPDinoV2 融合带来的空间推理提升。最终选 Prismatic。图像分辨率224×224 与 384×384 在评测上无差异但后者训练慢 3 倍。于是用 224×224。注意在一般 VLM benchmark 上提分辨率通常涨点但 VLA 还没看到这个趋势——这是个值得继续挖的反常现象。视觉编码器要微调、不能冻结这与 VLM 的常规做法相反VLM 里冻结视觉编码器通常更好。作者假设原因是预训练视觉骨干抓不到精细空间细节而机器人控制恰恰吃这个。消融里冻结视觉会掉到 46.7%、微调到 80.0%差距巨大。训练轮数与学习率VLA 需要远多于 LLM/VLM 的 epoch——一直训到动作 token 准确率超过 95%最终跑了 27 个 epoch。学习率固定 2e-5与 VLM 预训练一致不要 warmup。这四条合起来勾勒出 VLA 不同于 LLM/VLM 的训练性格更吃空间细节、更吃数据重复、对分辨率反而不敏感。这些经验对后续做 VLA 的人比模型本身更有参考价值。4.5 训练与推理基础设施最终模型在 64 块 A100 上训 14 天共 21,500 A100-小时batch size 2048。推理时 bfloat16 精度下占 15GB 显存单卡 RTX 4090 上约 6Hz未做编译/投机解码等加速。作者还实现了一个远程 VLA 推理服务可以把动作预测实时流式推给机器人这样本地不需要强算力也能控机器人——这一点对降低使用门槛很实际随代码一起开源。4.6 OpenVLA 代码库代码库是一个模块化 PyTorch 训练框架从单卡微调到多节点集群训练十亿参数 VLA 都覆盖内置 AMP、FlashAttention、FSDP原生支持 OpenX 训练、HuggingFace AutoModel 集成、LoRA 微调与量化推理。它是 OpenVLA 作为基座承诺的具体载体。五、实验与证据结果能支撑到什么程度实验围绕三个问题展开开箱即用 vs 既有通用策略、数据高效微调 vs 从头训的模仿学习、参数高效微调与量化的性能-算力权衡。所有评测都是同任务同初始状态的 A/B 对比。5.1 开箱即用在两个本体上正面打 RT-2-X在 BridgeData V2 的 WidowX 上图 317 任务、每方法 170 次 rolloutOpenVLA 总体最高并在视觉/运动/物理/语言 grounding 全部分类上反超闭源 RT-2-X唯独语义泛化输给 RT-2-X。语义泛化指没见过的目标物体、指令、互联网概念——RT-2-X 在这里赢是合理的它用了更大规模互联网预训练并且是联合互联网数据一起微调的更好地保留了预训练知识而 OpenVLA 是纯机器人数据微调。在 Google Robot 上图 412 任务、60 次 rolloutOpenVLA 与 RT-2-X基本打平两者都明显甩开 RT-1-X 和 Octo。定性上OpenVLA 与 RT-2-X 都表现出有干扰物时仍能接近正确物体、能正确定向末端、甚至能从抓取失误中恢复的鲁棒行为。作者把 OpenVLA 能以 7B 反超 55B 的原因归结为三点(1) 数据更大更干净970k vs 350k且做了如过滤 Bridge 全零动作等清洗(2) 融合视觉编码器带来语义空间双特征(3) 更久训练。附录消融量化了这些组件的贡献。值得一提的是评测本身的设计作者定义了视觉/运动/物理/语义四类 OOD 泛化轴并在多物体场景里专门测语言 grounding改指令、定初始状态、看策略是否去碰对的物体。图 7 和图 9 给出了这些任务的具体图示。图 7 展示 BridgeData V2 的四类 OOD 任务每对图是起始状态与完成后的示例终态底部三行是语言 grounding 任务——固定初始状态、只改指令检验策略是否走向正确目标物体。图 8 是一个容易被忽略但很重要的诚实的细节原始 BridgeData V2 水槽环境的示教全部把末端初始化在目标正上方。而论文评测里统一把末端初始化在水槽上方固定位置除放茄子进锅易版本外。这意味着评测比训练分布更难——作者没有用数据里的讨好初始状态来刷分。图 9 是 Google 机器人的评测任务OOD 涉及未见背景、目标物体、指令/物体关系以及来自互联网、不出现在机器人动作数据里的语义概念。5.2 数据高效微调开箱先验 vs 从头模仿学习这一组实验是全文最有说服力的部分之一。在 Franka-Tabletop 与 Franka-DROID 两个新本体上用 10–150 条示教做全量微调对比从零训的 Diffusion Policy、微调的 Octo、微调的 OpenVLA以及一个消融OpenVLA(scratch)——直接在目标域上微调底层 Prismatic VLM、跳过 OpenX 预训练图 5129 次 rollout。结论很清晰窄单指令任务如把胡萝卜放碗里上Diffusion Policy 与 OpenVLA 打平甚至反超。这说明在窄而精的任务上从头训的表达式策略仍有优势尤其在轨迹平滑与精度上。多物体、多指令、需语言 grounding 的任务上预训练过的 Octo 和 OpenVLA 明显更好OpenVLA(scratch) 掉下来证明这好处来自 OpenX 预训练先验而不是 VLM 架构本身。总体平均OpenVLA 最高并且是唯一一个在所有任务上都 ≥50% 成功率的方法。作者据此主张OpenVLA 适合作为模仿学习的默认起点尤其当任务涉及多样语言指令时对窄而高度灵巧的任务Diffusion Policy 仍更顺滑未来可借鉴其 action chunking 与时序平滑。图 10 给出 Franka-Tabletop 六个任务上三行单指令、下三行多物体多指令每任务第一列是分布内初始状态、第二列是 OOD 初始状态未见背景/物体/干扰物/位姿。图 11 是 Franka-DROID 的擦桌子任务机器人需抓起刷子把三个物体扫进簸箕右图是带未见干扰物的 OOD 试验。5.3 参数高效微调LoRA 是最优解微调策略成功率训练参数 (×10⁶)VRAM (batch16)全量微调69.7 ± 7.2%7,188.1163.3 GB*仅最后一层30.3 ± 6.1%465.151.4 GB冻结视觉47.0 ± 6.9%6,760.4156.2 GB*Sandwich62.1 ± 7.9%914.264.0 GBLoRA rank3268.2 ± 7.5%97.659.7 GBLoRA rank6468.2 ± 7.8%195.260.5 GB* 跨两卡 FSDP 分片。这组对比Franka-Tabletop 选定任务、33 次 rollout的结论很干脆只调最后一层或冻结视觉都不行——再次印证视觉特征必须被适配到目标场景LoRA 性能-算力权衡最优仅训 1.4% 参数就追平全量微调把单任务微调压到单卡 A100、10–15 小时相比全量微调省 8 倍算力。LoRA 的 rank 对性能影响可忽略推荐默认 r32。5.4 量化推理4-bit 不掉点8-bit 反而崩精度Bridge 成功率VRAMbfloat1671.3 ± 4.8%16.8 GBint858.1 ± 5.1%10.2 GBint471.9 ± 4.7%7.0 GB这部分有一个反直觉但非常重要的发现8-bit 量化反而掉点4-bit 反而不掉。原因不在精度本身而在速度——8-bit 在多数 GPU 上因量化开销变慢在评测用的 A5000 上只能跑 1.2Hz而 Bridge 任务用的是 5Hz 非阻塞控制器1.2Hz 显著改变了系统动力学、与数据采集时的频率不匹配于是性能崩掉。4-bit 因为显存搬运减少抵消了量化开销能跑到 3Hz更接近训练分布的频率于是成功率与 bfloat16 持平。这是一个超出精度-性能二元论的洞察对闭环控制而言推理频率本身就是系统动力学的一部分慢即错。图 6 给出各消费级/服务器 GPU 的可达频率bfloat16 与 int4 在 Ada Lovelace 架构RTX 4090、H100上吞吐尤其高进一步加速可上 TensorRT-LLM。5.5 消融与仿真补充把功劳算清楚附录的消融把凭什么反超 RT-2-X算得比较清楚Table 9, 10OpenX 预训练的效应远大于双视觉编码器——去掉 OpenX 只在 Bridge 上训掉得很多再去掉 DinoV2 只留 SigLIP再掉一点但幅度小得多。换言之OpenVLA 的强势主要来自更大更干净的数据 更久训练架构上的双编码器是锦上添花。另外冻结 vs 微调视觉编码器的对比Table 10很极端微调 80.0% vs 冻结 46.7%进一步坐实VLA 必须放开视觉编码器。附录 E 还在 LIBERO 仿真上做了微调实验Table 12四套任务、每统计 1500 次试验微调 OpenVLA 平均成功率 76.5%、平均排名 1.5仍居首但领先幅度比真机小。作者的解释很坦诚OpenVLA 是纯真机数据预训练的与仿真有域差所以仿真上的增益被压缩Octo 也是纯真机预训练同样只比从零训的 Diffusion Policy 高一点。这暗示一个方向预训练里掺仿真数据可能进一步放大增益。六、这篇工作的边界与可复现性可复现性是 OpenVLA 最硬的承诺。权重HuggingFace、训练代码PyTorch含 FSDP/AMP/FlashAttention、微调脚本与 notebook、远程推理服务、LIBERO 仿真复现材料全部开源。复现预训练需要 64×A100×14 天的算力门槛21,500 A100-小时对多数实验室不现实但微调和推理完全在消费级可达——LoRA 单卡 A100、4-bit 量化 7GB 显存——这正是作者刻意下放的部分。边界方面作者自己点出了四条天花板单图像观测只支持单张第三视角图像不支持多相机、本体感知、历史帧。真实机器人感知是异构的这是最直接的短板。推理频率上不去当前 ~6Hz撑不住 ALOHA 这类 50Hz 高频控制也限制了对双臂灵巧任务的探索。action chunking、投机解码是潜在解法。绝对可靠性仍不够高虽然领先但多数任务成功率仍 90%离可部署还有距离。很多设计问题因算力未能充分探索基础 VLM 规模的影响机器人动作数据与互联网图文协同训练是否大幅涨点哪种视觉特征最适合 VLA这些都被列为开放问题交给社区。此外评测的主力是 BridgeData V2 与 Google Robot 两个相对窄的本体/任务族Franka 微调虽然加了但任务仍是 tabletop 量级。OpenVLA 在更长时序、更灵巧、更高频率任务上的表现论文没有给出证据。七、如果继续研究/落地应该关注什么多模态/历史输入把单图扩展到多视角 本体感知 历史帧可能是下一版 VLA 的头号议程。作者提示用 interleaved 图文预训练的 VLM 可能更适合做灵活输入的 VLA 微调。推理加速与 action chunking要进 ALOHA 这类高频双臂场景必须把推理吞吐拉上去——action chunking一次预测多步和投机解码是两条现成路径也是把 OpenVLA 从桌面操作推向灵巧操作的关键。数据配比工程化DROID 拟合不动的细节提示数据混合权重应做成在线监控动态调整的流程而非静态配方仿真数据混入预训练可能放大仿真增益。协同训练机器人动作数据 互联网图文共训是否能像 RT-2-X 那样保住语义泛化同时不失 OpenVLA 的机器人性能是一个值得做的对照。从基座到生态OpenVLA 的真正价值在于被社区 fork 出各种变体不同骨干、不同数据、不同动作空间。落地时应把它当 Llama 来用——在其上做 LoRA 域适配、做量化部署、做推理服务化——而不是当成品策略直接部署。八、术语与概念速查为方便读实验与消融时对照把正文中反复出现的「对比方法 / 方法变体 / 评测概念」集中于此。核心概念VLA、OpenX、Prismatic-7B、动作离散化已在开头「核心关键词」预告并在第四章正文展开此处不重复。类别术语一句话定位对比方法RT-2-X55B 闭源 VLAOpenVLA 的主要对标对象语义泛化更强对比方法RT-1-X35M 从头训的通用策略OpenX 子集评测中明显落后对比方法Octo93M 开源可微调通用策略OpenVLA 在开源侧的直接前任对比方法Diffusion Policy从零训的扩散模仿学习基线窄单指令灵巧任务上强微调变体Full FT全参数微调性能上限参照163GB VRAM微调变体Last layer only仅调最后一层 token embedding30.3%过弱微调变体Frozen vision冻结视觉编码器46.7% vs 微调 80.0%证明视觉必须放开微调变体Sandwich解冻视觉 embedding 最后一层其余冻结折中方案微调变体LoRA (r32)低秩适配1.4% 参数追平全量推荐默认推理精度bfloat16默认推理精度16.8GB 显存推理精度int810.2GB 但拖慢频率→58.1%反而掉点推理精度int47.0GB71.9%与 bfloat16 持平评测概念四类 OOD 泛化视觉 / 运动 / 物理 / 语义 四轴评测概念语言 grounding多物体场景改指令、定初始状态测是否碰对物体评测概念OpenVLA(scratch)跳过 OpenX 预训练直接微调 Prismatic消融先验来源工程产物远程 VLA 推理服务动作预测实时流式推给机器人本地无需强算力随代码开源九、拓展思考值得继续扩展研究与思考的创新点分辨率不敏感反常VLA 上 224→384 不涨点与 VLM benchmark 相反。这是否意味着 VLA 的瓶颈在动作端而非感知端值得系统性地把提分辨率换成提动作表达精度来做对照。频率即动力学int8 之所以崩不是因为精度差而是因为慢。这提示 VLA 的评测必须把推理频率-控制器频率匹配作为一等公民来报告否则量化/蒸馏类的效率研究会得出错误结论。动作 token 化的代价把连续动作硬离散成 256 桶是否限制了精细动作的上限Diffusion Policy 在窄灵巧任务上更强可能正与此有关。连续动作头diffusion/dit action head与 token 化动作的混合表达是一个有潜力的方向。预训练数据的可拟合性诊断DROID 拟合不动是个信号——能否设计一个数据集对 7B VLA 的可吸收度指标用来在线决定混合权重这把数据工程从手艺变成可度量流程。开源基座的长期价值OpenVLA 真正的里程碑不是 16.5% 的反超而是把VLA 研究从少数大公司的黑盒变成了任何有单卡 A100 的实验室都能参与的开放问题。它的引用曲线与衍生工作数量可能比它的成功率数字更说明问题。