assessment 研究报告机器人与具身智能其他2025-05 会员资料

Physical Intelligence:知识隔离的VLA模型——训练快、运行快、泛化更好

指出大型VLM参数多、输出离散token,与机器人实时连续控制的要求存在矛盾。

发布时间
2025-05
login 登录后阅读

notes 内容介绍

机器人基础模型走到今天,有一个绕不开的接缝:视觉语言模型擅长理解与推理,而机器人需要的是实时的连续控制,两者能不能装在一起而不互相拖累。这份来自 Physical Intelligence 的资料正面处理的就是这个接缝处的矛盾:它先指出大型 VLM 直接驱动机器人时面临的结构性障碍,再给出一个名为“知识隔离”的训练方案。它值得现在看,是因为把动作专家之类的模块接到预训练 VLM 上已是常见做法,而这类做法要付出什么代价,在这份资料里被单独提了出来,并给出了应对办法。

资料覆盖的范围集中在方法层面,即问题诊断与训练方法的设计思路。它并不以数据表格为主的评测报告的形式出现,材料给出的核心论断是定性的:在保留 VLM 知识的前提下,训练和推理都能更快,泛化表现也更好。换句话说,这份资料的价值在于提出一种组织训练的方式,而不是提供一组可横向比较的基准数字。读者需要带着对 VLA 训练流程的基本了解去读,才能把它落到自己的工程里。

第一处诊断关于能力错配。大型 VLM 参数多,输出的是离散 token;机器人控制则要求实时响应和连续动作。这两条限制叠在一起,一是推理开销,二是表示形式对不上。这意味着把 VLM 当控制器用,不是加一个输出头就能解决的,中间需要一层把离散的语义表征转成连续动作的机制,而这层机制怎么训练,正是后面所有问题的起点。

第二处诊断关于训练的副作用。现有 VLA 在加入动作专家等新模块时,那些尚未训练的参数可能破坏预训练 VLM 已经具备的语义知识。知识隔离的做法是把两者隔开,让新模块的学习不去改写原有的语义知识。我的理解是,这相当于把“知道”和“会做”交给不同的参数去承载,训练时互不干扰,从而同时拿到保留知识、训练更快和推理更快这几项收益。

这些结论对实践的影响是具体的。评估一个 VLA 方案时,“接入动作模块之后原来的语义知识还剩多少”值得作为一个独立维度来看,而不只是看任务成功率;改造已有的预训练模型时,隔离式的设计思路可能比让所有参数一起更新更稳妥。训练快和推理快也不只是效率指标,它们直接决定迭代成本和部署可行性,对实时性要求高的场景尤其如此。需要说明的是,这些判断是从资料的三条要点推出来的,具体幅度材料没有展开。

做机器人学习、尤其在训练 VLA 的读者,能从这份资料里拿走一个明确的设计取舍:新模块应该怎么加,才不伤到原有的预训练知识。读完至少能得到一个清晰的问题定义和一套方法框架。它的边界同样清楚:材料只给到要点级别的结论,没有实验设置、基线对比和加速的量化数字,也没有交代知识隔离的具体实现细节以及在什么条件下会失效;标题里“泛化更好”是与什么相比,材料中也未作说明。因此它更适合当作一条线索去按图索骥,而不是可以直接引用的结论。