1. 从实验室到产线LingBot-VLA 2.0 到底解决了什么第一次看到 LingBot-VLA 2.0 这个工作的时候我脑子里冒出来的第一个念头是6 万小时、20 种本体这个数据规模放在 VLAVision-Language-Action这个赛道里已经不是刷个 benchmark的量级了而是奔着能不能真的上产线去的。VLA 这个概念这两年热得发烫但真正做过机器人落地的人都知道实验室里跑得漂亮的模型到了真实场景里往往撑不过三天——光照一变、物体一换、本体一换策略就崩了。LingBot-VLA 2.0 想回答的核心问题其实就是这个一个 VLA 模型怎么才能从演示视频里很酷变成工厂里能干活。我先把这篇工作的定位说清楚方便不同背景的读者对号入座。如果你是做具身智能算法的这篇值得逐段抠尤其是它关于全身自由度和未来预测的设计如果你是做机器人系统集成的可以重点看它怎么处理 20 种不同本体的统一表示如果你只是刚入行想搞明白 VLA 到底是什么那这篇也能当个不错的入门样本因为它把实验室到落地这条链路上的关键卡点基本都点到了。VLA 模型说白了就是把视觉Vision、语言Language和动作Action塞进同一个模型里让机器人能看着画面、听着指令、做出动作。听起来简单但难点在于视觉和语言这两块过去几年靠大模型已经卷得很成熟了真正难的是动作这一环——动作是连续的、有时序的、和物理世界强耦合的而且不同机器人的关节数量、自由度、传感器配置都不一样。LingBot-VLA 2.0 的野心就是用一个统一的框架把这些异构的东西全吃下去。这里有个反直觉的点值得先说很多人以为 VLA 的瓶颈在模型容量其实真正的瓶颈在数据异构性和动作表示的统一性。你有再大的模型如果 20 种本体的动作空间没法对齐训练出来的策略就是精神分裂的。LingBot-VLA 2.0 花大力气做的恰恰是这件看起来不性感、但决定生死的事。2. 6 万小时与 20 种本体数据规模背后的工程账2.1 为什么是小时而不是条数先聊数据。6 万小时这个数字第一次看会觉得是营销话术但如果你真做过机器人数据采集就知道这个量级意味着什么。机器人数据采集和互联网文本数据完全是两码事——文本你可以爬机器人数据你得一台台设备、一次次遥操作、一遍遍真机跑出来。一条几十秒的演示背后可能是操作员几分钟的调试加录制。那为什么用小时而不是条数来计量因为 VLA 训练里时间维度是动作序列的核心。同样是一万条数据如果每条只有 2 秒和每条有 30 秒模型学到的时序依赖完全不是一个量级。用小时计量能更真实地反映模型见过多少连续动作流。这也是我在自己项目里踩过的坑早期我按条数评估数据量结果发现模型对长时序任务几乎没概念后来改成按累计时长评估才意识到数据其实远远不够。6 万小时摊到 20 种本体上平均每种本体 3000 小时。这个分布肯定不是均匀的热门本体比如常见的双臂协作平台数据会多冷门本体可能就几百小时。这里就引出一个关键工程问题数据不均衡怎么处理。LingBot-VLA 2.0 大概率用了类似采样加权或者分本体 curriculum 的策略否则冷门本体的策略会直接被热门本体的梯度淹没。2.2 20 种本体的统一表示难题20 种本体意味着 20 套不同的关节配置、不同的自由度、不同的传感器布局。举个具体的例子一个 6 自由度的机械臂和一个 20 自由度的全身人形它们的动作空间维度差了好几倍你怎么让同一个模型同时学会常见的做法有三种我列个表对比一下方案思路优点缺点本体专属头每种本体一个输出头简单直接参数爆炸跨本体迁移差统一动作空间把所有本体映射到统一维度迁移好映射损失信息低自由度本体冗余本体条件化用本体 embedding 条件化生成灵活训练难度高需要本体标注LingBot-VLA 2.0 从标题里全身自由度这个关键词看应该是走了本体条件化 统一动作空间的混合路线。也就是说模型内部有一个共享的动作表示但通过本体相关的条件信息比如自由度数量、关节类型来调制输出。这样既保证了跨本体迁移又不会让低自由度本体被迫学一堆用不上的维度。提示如果你自己要做多本体训练千万别一上来就搞 20 种。先用 2-3 种结构相近的本体跑通流程确认统一表示不会掉点再逐步加本体。我见过太多项目一上来就追求通用结果连两种本体都没对齐。2.3 数据质量比数据量更致命6 万小时听着唬人但如果里面混了大量低质量数据遥操作抖动、任务失败、标注错误模型学到的就是一堆噪声。我在实际项目里的经验是数据清洗花的时间往往比采集本身还多。具体要清洗什么动作抖动用低通滤波或者样条平滑、任务失败片段根据成功信号截断、标注不一致统一指令模板。LingBot-VLA 2.0 没有在标题里强调数据清洗但从它能支撑 20 种本体来看背后一定有一套自动化的质量过滤管线。这块是很多论文不会细写、但落地时最要命的部分。3. MoE 架构在 VLA 里到底怎么用3.1 为什么 VLA 需要 MoE热词里moe架构moe架构要全部参数进显存吗出现频率很高说明大家对这块有实打实的困惑。先回答那个最直接的问题MoE 架构不需要全部参数进显存。这正是 MoEMixture of Experts混合专家的核心价值——总参数量可以很大但每次前向只激活其中一小部分专家显存占用和计算量按激活参数算而不是总参数。那 VLA 为什么需要 MoE因为 VLA 要同时处理视觉、语言、动作三种模态还要适配 20 种本体。如果用一个稠密模型硬扛参数量会大到训练和推理都吃不消。MoE 的思路是让不同的专家负责不同的子问题。比如有的专家专门处理视觉特征有的专门处理语言指令有的专门处理特定本体的动作生成。这样总容量上去了但每次推理只调用相关的专家。3.2 路由与负载均衡的实操坑MoE 最难的地方不是专家本身而是路由routing和负载均衡。路由决定了一个 token 该送给哪些专家如果路由学歪了所有 token 都涌向少数几个专家其他专家就成了摆设这叫专家坍缩。热词里moe负载均衡代码也是个高频需求我贴一段常见的负载均衡损失实现思路伪代码级别方便理解# 负载均衡辅助损失的核心思路 # router_logits: [num_tokens, num_experts] # 计算每个专家被选中的频率 expert_mask top_k_gating(router_logits) # 每个 token 选 top-k 专家 tokens_per_expert expert_mask.sum(dim0) # 每个专家分到多少 token # 理想情况是均匀分布用方差或熵来惩罚不均衡 fraction_per_expert tokens_per_expert / num_tokens # 辅助损失鼓励分布接近均匀 aux_loss num_experts * (fraction_per_expert ** 2).sum()这段代码的关键在于最后那个aux_loss它惩罚的是专家负载的平方和。如果负载均匀平方和最小如果全挤在一个专家上平方和最大。训练时把这个 aux_loss 加到主损失上就能逼着路由学会均衡。注意aux_loss 的权重不能设太大否则会干扰主任务学习也不能太小否则起不到均衡作用。我一般从 0.01 开始调观察专家利用率曲线。3.3 MoE 在 VLA 里的特殊之处和纯语言 MoE 不同VLA 的 MoE 还要考虑模态间的路由。语言 token 和视觉 token、动作 token 的分布差异很大如果共用一个路由器很容易出现视觉 token 全跑一个专家、动作 token 全跑另一个的割裂。LingBot-VLA 2.0 从它的多本体特性推测很可能用了模态感知的路由或者分层 MoE——底层共享上层按模态或本体分专家。这块的实操心得是先做模态分离的路由再考虑统一路由。我试过直接上统一路由结果训练极不稳定后来改成视觉和动作各走各的路由器稳定多了。等模型收敛后再尝试部分共享效果会好很多。4. DINO-Video 与未来预测让模型预判而不是反应4.1 DINO-Video 解决了什么热词里DINO-Video是个关键线索。DINO 系列是自监督视觉表征的经典工作DINO-Video 显然是把它扩展到了视频维度。为什么 VLA 需要这个因为机器人操作是时序任务单帧视觉特征不够模型必须理解动作会导致画面怎么变化。传统的做法是用一个视频编码器提取时序特征但问题在于视频编码器往往是在自然视频上预训练的和机器人操作视频的分布差很远。DINO-Video 的价值在于它用自监督的方式学到了更通用的时空表征而且 DINO 系列的特征在密集预测任务上一直表现很好这对需要精细空间理解的操作任务很关键。我在自己项目里对比过几种视觉 backbone结论是在机器人操作任务上自监督预训练的视频 backbone 明显优于 ImageNet 预训练的静态 backbone尤其是在需要理解物体被推动后会去哪这类任务上。DINO-Video 应该就是沿着这个方向做的。4.2 未来预测VLA 的预判能力标题里的未来预测是我最感兴趣的部分。传统 VLA 是看到当前画面 指令 → 输出动作本质是反应式的。但真正聪明的操作需要预判我推这个杯子它会滑到哪里我抓这个把手门会怎么开未来预测在 VLA 里的实现方式通常是在训练时加一个辅助任务让模型预测未来若干帧的视觉表征。这样模型被迫学到动作和未来状态之间的因果联系而不是简单地记忆当前状态对应什么动作。这个设计的精妙之处在于它把世界模型的思想融进了 VLA。模型不只是在学策略还在学一个隐式的动力学模型。落地时的好处是面对没见过的物体或场景模型能靠预判能力泛化而不是死记硬背。提示未来预测的辅助任务预测步数不要设太长。我试过预测 1 秒和预测 5 秒1 秒的效果明显更好因为长时预测的误差累积会污染主任务。一般预测未来 3-5 帧是个比较稳的选择。4.3 全身自由度从手到全身的跨越全身自由度这个词标志着 VLA 从机械臂操作向全身运动的扩展。传统的操作任务只关心末端执行器手但人形机器人或者移动操作平台需要协调腿、腰、臂、手。这带来的挑战是动作空间维度暴增且不同部位的动作频率和精度要求不同。LingBot-VLA 2.0 处理这个问题的方式我推测是分层动作生成高层生成全身的粗粒度运动意图低层再细化到各关节。这样既保证了全身协调又不会让手部精细操作被腿部的大幅度运动干扰。实操上全身控制的难点在于平衡约束。机械臂操作时底座是固定的全身控制时底座会动动作必须满足动力学可行性。这块通常需要引入物理约束或者用仿真做大量预训练。如果你要做类似的事建议先在仿真里把全身控制跑通再上真机否则真机摔几次你就知道疼了。5. GM-100 与落地评估怎么判断一个 VLA 能不能用5.1 GM-100 是什么为什么重要热词里的GM-100应该是一个评估基准或者指标集。从命名推测可能是 100 个任务或者 100 个场景的评测集。VLA 领域一直缺一个公认的、贴近真实落地的评估标准很多论文各报各的指标没法横向比较。GM-100 如果是一个统一的评测集那它的价值就在于把实验室指标和落地能力对齐。我评估一个 VLA 能不能落地通常看几个维度列个表维度实验室关注落地关注成功率标准场景下的成功率扰动场景下的成功率泛化性新物体、新位置新光照、新背景、新本体鲁棒性理想条件下的稳定性传感器噪声、执行误差下的稳定性效率推理延迟端到端任务耗时、能耗可维护性不关注故障恢复、在线微调能力GM-100 如果覆盖了右边这一列那它就是个有落地价值的基准。否则又是一个刷分游戏。5.2 从实验室到落地的三个断层我自己做落地项目总结出 VLA 从实验室到产线要跨过三个断层第一个断层是感知断层。实验室里背景干净、光照稳定产线上反光、遮挡、动态干扰一大堆。模型在实验室 95% 的成功率到产线可能直接掉到 60%。解决办法是在数据采集阶段就引入真实扰动而不是等落地了再补。第二个断层是动作断层。实验室里机器人可以慢慢做产线上有节拍要求。模型输出的动作如果不够平滑、不够快产线根本没法用。这需要在训练时就把动作平滑性和执行效率作为优化目标而不是只看成功率。第三个断层是本体断层。实验室用一台机器人调好的策略换一台同型号的都可能掉点更别说换型号了。LingBot-VLA 2.0 强调 20 种本体恰恰是在解决这个断层。但要注意跨本体迁移不是免费的它需要本体条件信息足够丰富且训练时本体分布足够均衡。5.3 落地评估的实操建议如果你要评估一个 VLA 模型能不能上你的场景我的建议是先做小样本真机测试别信论文里的数字。用你自己的场景、你自己的机器人跑 20-30 个任务看真实成功率。重点测扰动场景光照变化、物体位置偏移、指令改写这些才是落地的日常。测长时序任务VLA 最容易在长任务上崩因为误差会累积。测恢复能力任务失败后能不能自己重试这决定了它能不能无人值守。注意评估时一定要固定随机种子和初始条件否则不同次测试没法比较。我吃过这个亏测了三天发现数据没法用因为每次初始位置都不一样。6. VLA 训练与模型结构的几个常见疑问6.1 VLA 是一个模型还是两个模型热词里vla模型是一个模型还是2个模型这个问题很典型。答案取决于具体实现但主流趋势是一个模型。早期有些工作用视觉语言模型 动作头的两段式视觉语言模型冻结只训动作头。但这种方式的问题是视觉语言模型的特征不是为动作优化的动作头很难学到精细的操作。LingBot-VLA 2.0 从它的规模看应该是端到端一个模型视觉、语言、动作在同一个网络里联合训练。这样梯度能回传到视觉编码器让视觉特征也朝着对操作有用的方向优化。代价是训练成本高但效果上限也高。6.2 VLA 是怎么训练的VLA 训练的核心是模仿学习给定观测和指令让模型输出动作和专家演示的动作做对比。损失函数通常是动作的 L1/L2 损失或者更高级的扩散/flow matching 损失。但纯模仿学习有个致命问题分布偏移。模型在训练时见到的状态分布和它自己执行时产生的状态分布不一样一旦偏离就回不来。解决办法有几种一是DAgger让专家在模型执行的状态上给纠正二是加噪声增强训练时给观测加扰动让模型见过更多状态三是未来预测辅助任务逼模型学动力学从而对分布偏移更鲁棒。LingBot-VLA 2.0 的未来预测设计很可能就是第三种思路的体现。这也是我觉得这篇工作最有价值的地方——它没有只堆数据而是在训练目标上做了文章。6.3 训练中的实操坑我列几个自己在 VLA 训练里踩过的坑动作归一化不同本体的动作范围差异巨大不归一化的话大范围本体的梯度会主导训练。建议按本体做动作归一化。指令模板语言指令的多样性很重要如果训练时只有一种模板模型会过拟合到模板上。建议用 LLM 做指令改写增强。时序对齐视觉帧率和动作频率往往不一致需要做时间对齐否则模型学到的动作和观测是错位的。显存管理VLA 模型大视频输入又占显存训练时很容易 OOM。MoE 能缓解一部分但 batch size 还是要小心调。7. 我对 LingBot-VLA 2.0 这类工作的个人判断做了几年具身智能我对 VLA 这个方向的判断是它一定会成为机器人操作的主流范式但通用 VLA和落地 VLA是两回事。LingBot-VLA 2.0 的 6 万小时、20 种本体、全身自由度、未来预测这些设计都在往通用走但真正决定它能不能落地的是那些论文里不会细写的工程细节——数据清洗、路由稳定性、动作平滑、故障恢复。我个人最看好的两个点一是未来预测它让 VLA 从反应式走向预判式这是质变二是多本体统一表示它决定了 VLA 能不能规模化复制而不是每个场景重新训一个模型。至于 MoE我的态度是谨慎乐观。MoE 确实能扩大容量、降低推理成本但路由的稳定性和负载均衡在 VLA 这种多模态场景下更难调。如果你要上手建议先用小规模 MoE 验证路由稳定性再逐步扩大专家数量。最后分享一个我自己的经验别指望一个 VLA 模型解决所有问题。落地时更现实的方案是通用 VLA 打底 场景微调用通用模型提供泛化能力用少量场景数据做快速适配。LingBot-VLA 2.0 这种大规模预训练模型最大的价值就是提供了一个足够强的底座让下游适配的成本大幅降低。至于它最终能不能成为那个底座还得看它在真实产线上的表现而不是论文里的数字。