面向自动驾驶的视觉-语言-动作模型综述
OriginalA Survey on Vision-Language-Action Models for Autonomous Driving
Researchers in autonomous driving are actively adapting these methods to the vehicle domain.
- 发布时间
- 2025-10
内容介绍
多模态大模型(MLLM)的进展,把视觉、语言与动作串成了一条链路,也带出了 Vision-Language-Action(VLA)这一范式。这份综述要回答的正是:当这套范式被搬到自动驾驶上时,现有研究究竟做到了哪一步。摘要首句把来龙去脉讲得很直接:正是 MLLM 的快速进步,才让整合视觉感知与自然语言理解的 VLA 成为可能。作者同时给出一个判断:相关文献仍然零散,并且还在快速扩张。换句话说,这是一个成果已经不少、但整体图景还没有理清的时刻,综述的价值就在于先把这张图景整理清楚。
从标题看,范围限定在自动驾驶场景下的 VLA 模型,而不是泛泛的多模态模型梳理;边界由 VLA 的三个环节划定,即视觉感知、自然语言理解与动作输出。方法上,这是一篇 survey,做的是对既有文献的归纳与组织,立论起点不是新实验,而是“文献零散且快速扩张”这一现状判断。作者来自 McGill University、Tsinghua University、Xiaomi (China) 与 University of Wisconsin–Madison,横跨高校与产业界——这在一定程度上说明该方向同时被学术与工程两侧盯着,这一点是我的解读而非作者原话。
材料列出的第一条要点是趋势判断:自动驾驶方向的研究者正在主动把这类方法迁移到车辆领域。第二条给出这种迁移所承诺的东西:能够理解高层指令、能够对复杂交通场景进行推理、并且能够自行做出决策的自动驾驶车辆。三者是递进的:从听懂人话,到看懂场面,再到自己拍板。这里值得留意措辞,原文用的是 promise 而非既有能力,也就是说,这些还属于该范式宣称要达成的目标。
第三条要点解释了这份综述为何存在:文献零散,且在快速扩张。两者合起来构成一个矛盾:扩张越快,零散带来的成本就越高,重复劳动与概念混用也越容易出现。一个侧面信号是这篇论文被引 30 次;对一篇 2025 年 10 月发布、问世不久的综述来说,这个数字表明社区对“有人把文献整理起来”确有需求——这句是基于数字的解读,不是原文结论。
这些判断对实践的影响可以分两层看。工程层面,一个团队若要判断某项 VLA 工作在自己系统里的位置,一份把分散文献收拢起来的综述,省下的是检索和对齐概念的时间。方向层面,“理解高层指令、推理复杂场景、自主决策”这三项承诺如果成立,意味着车辆的行为规范可以部分从硬编码规则转向自然语言层面的意图表达——这是解读,材料只说了承诺,没有说明实施到了什么程度。对做系统设计的人,真正需要记住的是承诺与现状之间的差距,而不是这些承诺本身。
读完能拿走的东西大致是:把一个正在膨胀的方向压缩成几个可把握的关键点——VLA 源自 MLLM、正被迁移到车端、承诺三种能力、而文献尚未成型。它适合已经在做自动驾驶感知或决策、想快速确认这块领域现状的人,也适合需要向团队解释“VLA 是什么、值不值得跟”的人。局限也要讲清楚:从摘要与要点能看到的只有主旨和三条判断,综述采用的分类体系、收录文献的规模与筛选标准都没有呈现,因此无法据此评估它覆盖得全不全;三条要点里的能力描述也停留在承诺层面,不宜当作已验证的性能结论引用。