assessment 研究报告机器人与具身智能其他2025-02

DexVLA:面向通用机器人控制的插件式扩散专家视觉语言模型

OriginalDexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control

认为VLA的动作空间表示是关键瓶颈,而不只是扩大VLM规模。

发布时间
2025-02
link 原始页面

notes 内容介绍

机器人要在不同环境里完成各种各样的任务,这件事一直不好解。Vision-Language-Action(VLA)模型被看作有希望的一条路:把视觉、语言和动作放进同一个模型,让机器人具备可泛化的技能。但这份资料指出,真正卡住能力的可能不是视觉语言模型不够大,而是动作表示本身存在限制。美的集团(Midea Group)等机构在 2025 年 2 月给出的这份工作,就是围绕这个判断展开的。值得现在看的原因在于,它把「扩规模」和「改动作表示」这两条路线摆到了一起,并给出了自己的选择。

资料的覆盖范围是一个完整的机器人控制模型方案,而非单一模块的改进。方法上有三个层次:一是提出十亿参数级的扩散动作专家(diffusion action expert),专门承担动作生成;二是把这个专家做成可插拔的形式,接在视觉语言模型之上;三是用本体课程学习来组织训练过程,先跨本体预训练扩散专家,再对齐到特定本体,最后快速适配新任务。换句话说,VLM 负责理解,扩散专家负责动作,两者通过插件式结构解耦。分析所依赖的数据来源是跨本体的机器人数据,而不是单一形态机器人的演示。

第一项关键发现是问题定位。资料认为 VLA 的动作空间表示是关键瓶颈,扩大 VLM 规模解决不了这个问题。这个判断的含义是:此前的路线倾向于把动作当作语言模型的附加输出,动作本身的结构没有被认真设计。解读来看,这等于把研究重心从「模型多大」转向「动作怎么表示」,是一个方向性的主张,而不是单纯的性能比较。

第二项关键发现是扩散专家的规模与作用。十亿参数级的扩散动作专家被用于跨本体学习,插件化的设计让它不必与 VLM 绑死在一起训练。第三项是训练策略上的本体课程学习,分三步走:先跨本体预训练,让扩散专家见到多样本体的动作分布;再对齐特定本体,缩小预训练与目标硬件之间的差距;最后快速适配新任务。这种由粗到细的安排,意味着跨本体数据被当作可复用的资产,而不是每个机器人各训一遍。以上三点是资料给出的核心结论,具体的实验数字在材料中未展开,这里不作补充。

这些结论对实践的影响,可以从两个角度理解。其一是复用性:如果动作专家可以插件式挂载并跨本体预训练,那么换一台机器人或加一个新任务,需要动的部分就更少。其二是分工:视觉语言侧和动作侧的迭代可以相对独立,动作表示的改进不必等待 VLM 的下一次放大。解读来说,这套思路对做机器人基础模型落地的团队更有参考价值,因为它讨论的是如何组织训练与模块边界,而不只是最终指标。

适合读这份资料的人,是正在做 VLA 或机器人操作策略、关心动作表示与跨本体迁移的研发者,以及需要判断技术路线取舍的工程负责人。读完可以拿走的是一套明确的问题判断和对应的三层方法结构:动作表示是瓶颈、扩散专家做插件、本体课程分阶段训练。边界也需要说清楚:材料只给出了方法框架和定性结论,没有提供可核对的实验数字和对比结果,因此它对「效果到底好多少」这个问题还无法回答。读者宜把它当作路线主张来读,而不是当作已被数据充分验证的结论。