science 论文机器人与具身智能制造与能源2026-05-04

MolmoAct2:面向真实部署的动作推理模型

Ai2 完全开源的动作推理 VLA,面向真实部署。

发布时间
2026-05-04
link 原始页面

notes 内容介绍

视觉-语言-动作(VLA)模型的目标是给机器人一个通用控制器,但今天的系统离真实部署还有距离:前沿模型是闭源的,开放权重的替代方案往往绑定昂贵或专门的硬件,带推理的策略为了几何 grounding 付出高到无法闭环控制的延迟,而即便做了任务微调,成功率仍低于可靠使用所需的水准。MolmoAct2 要回答的正是这个问题——一个完全开源的动作推理模型,能不能同时做到可复现、硬件可负担、延迟可用、成功率可信。值得现在看的理由不只是它放了权重:按材料所述,模型权重、训练代码和完整训练数据是一起发布的,前作 allenai/molmoact 的仓库本就采用 Apache-2.0。

覆盖面上,这项工作沿五条线推进前作 MolmoAct。底座是新的 VLM 主干 Molmo2-ER,专门针对空间与具身推理训练,语料规模为 330 万样本,配方叫“先专精后复述”(specialize-then-rehearse)。数据侧自建三个机器人数据集,全部落在低到中等成本平台:MolmoAct2-BimanualYAM 含 720 小时遥操作双臂轨迹,作者称其为迄今最大的开放双臂数据集;MolmoAct2-DROID 是经质量过滤的 DROID Franka 子集;MolmoAct2-SO100/101 是经质量过滤的 SO-100/101 子集。此外还训练并放出 MolmoAct2-FAST Tokenizer,一个开放权重、开放数据的动作分词器,训练语料横跨五种具身形态、数百万条轨迹。

架构上的做法是把离散 token 的 VLM 通过逐层键值(KV)条件,嫁接到采用 flow-matching 的连续动作专家上;作者把这套连接方式称为新的 VLA 架构。推理侧提出 MolmoAct2-Think,一种自适应深度推理变体:它只对时间步之间发生变化的场景区域重新预测深度 token,从而在保留几何 grounding 的同时把延迟压到先前的一小部分。评测覆盖 7 个仿真与真实世界基准,作者称这是迄今对开放 VLA 所做规模最大的实证研究,MolmoAct2 超过包括 π0.5 在内的强基线;同一份材料还称 Molmo2-ER 在 13 个具身推理基准上超过 GPT-5 与 Gemini Robotics ER-1.5。

最抓人的两个数字来自 X 帖而非论文正文:真实零样本任务成功率 87.1%、提速 37 倍。材料把这条明确标为社交平台的转述,摘录正文里并没有对应的表述,引用时应当作待核实的说法处理。正文能确认的部署面是:模型开箱即用于 bimanual YAM、SO-100/101 和 DROID Franka,并可迁移到清理、洗碗、湿实验室自动化、倒茶这类野外任务。

这意味着什么?解读一下:把主干、分词器、三个数据集、权重和训练代码一并公开,复现链条上的每一环都可被检查,实验室可以换成自家机械臂做微调,而不是只能拿来做推理。自适应深度推理的思路是“只算变化的那部分”,如果这个取舍在更多场景站得住,几何 grounding 的开销就会随场景变化量而不是帧数增长——对闭环控制频率而言这是实质差别。数据集中刻意压在低成本平台上,同样意味着这套东西的触达面比绑定专用硬件的方案更宽。

做 VLA、机器人策略与具身推理的研究者和工程团队最该翻一翻:能拿走的是一套相对完整的开源栈——专用 VLM 主干、跨五种具身的动作分词器、三个可直接用的数据集、两种推理模式,Molmo2-ER 也可以单独作为具身推理基座来评估。边界同样明显:87.1% 与 37 倍这两个数字出自 X 帖,正文无对应支撑;成功率的分项结果、各基准的具体差距,材料都没有给出;“迄今最大双臂数据集”和“规模最大的开放 VLA 实证研究”均为作者自述,材料未提供对比口径。

format_quote 原文摘录

自动提取自 PDF

MolmoAct2 Action Reasoning Models for Real-World Deployment Haoquan Fang♥1,2∗ Jiafei Duan♥1,2,3∗ Donovan Clay♥1,2 Sam Wang♥1,4 Shuo Liu♥2 Weikai Huang♥1,2 Xiang Fan♥1,2 Wei-Chuan Tsai♥2 Shirui Chen♥1,2 Yi Ru Wang♥1,2 Shanli Xing♥2 Jaemin Cho1,2,5 Jae Sung Park1 Ainaz Eftekhar1,2 Peter Sushko1 Karen Farley1 Angad Wadhwa2 Cole Harrison6 Winson Han1 Ying-Chun Lee2 Eli VanderBilt1 Rose Hendrix1 Suveen Ellawela7 Lucas Ngoo7 Joyce Chai8 Zhongzheng Ren♥1,2,9 Ali Farhadi♥1,2 Dieter Fox♥1,2 Ranjay Krishna♥1,2 1Allen Institute for AI,2University of Washington,3National University of Singapore,4University of Penn- sylvania, 5Johns Hopkins University,6Amazon, 7Cortex AI, 8University of Michigan,9University of North Carolina at Chapel Hill * denotes equal contribution in no particular order.♥marks core contributors. See full author contributions here.