SmolVLA：低成本高效的机器人视觉-语言-动作模型

机器人策略的通用性长期受两件事掣肘：数据不够多样，模型不够轻。近年来的主流思路是把预训练视觉语言模型改造成视觉-语言-动作模型（VLA），让自然语言指令直接驱动感知与控制；但现有 VLA 往往有数十亿参数，训练成本高、真实世界部署受限，而且大多依赖学术与工业数据集，对低成本机器人平台上日渐增多的社区采集数据视而不见。SmolVLA 要回答的就是：能不能做一个又小又高效、由社区数据喂养、性能却仍有竞争力的 VLA。值得现在看的另一个理由是开放程度——报告本身承认，VLA 仍处在早期，许多有影响力的进展是闭源的，只公开权重而保留完整训练细节与关键方法组件，而透明、可复现的开源模型与训练配方，正是这个方向加速所缺的东西。

这份报告覆盖的不只是一个模型，而是从架构、预训练数据到推理栈的一整套配方，最终落在仿真与真实机器人的基准评估上，并声明发布全部代码、预训练模型与训练数据。模型主体是一个紧凑的预训练 VLM，做法是丢掉最后 L−N 层；剩下的层负责嵌入三类输入——语言指令、RGB 图像和机器人传感器运动状态。这些合并后的 token 被送入一个 Action Expert，其中 cross-attention 块与 self-attention 块交替排列，用 flow matching 训练，一次输出 n 个低层动作组成的动作块。训练数据全部来自公开的社区贡献数据集，规模少于 30k episodes，端到端训练完成。

轻量化不是一句口号，报告列出了四个具体的设计选择：跳过 VLM 的部分层、把视觉 token 数量压到最少、选用小的预训练 VLM，以及让 self-attention 层与更轻的 cross-attention 层交错。这几项共同服务于一个目标——在单张 GPU 上训练，在消费级 GPU 甚至 CPU 上部署。换句话说，硬件门槛是被当作一等设计约束来处理的，而不是等模型训完再想办法压缩。

在这个尺寸下，报告称 SmolVLA 的性能与比它大 10 倍的 VLA 相当。数据侧同样克制：少于 30k episodes 的社区数据，比先前工作少一个数量级。为了改善响应性，模型还引入了异步推理栈，把感知与动作预测从动作执行中解耦出来，配合分块动作生成，从而获得更高的控制率。评估覆盖一系列仿真与真实世界机器人基准，模型在低成本机器人上进行评测，这也是它区别于依赖昂贵平台的同类工作的关键设定。

把这几条放在一起看，意味着 VLA 的门槛被往下拉了一截：单 GPU 可训练、CPU 可推理，加上完全公开的社区数据与开源配方，小型团队、学生实验室乃至围绕低成本机器人平台的爱好者群体，都有机会复现、微调并在此基础上迭代，而不必先跨过算力和数据两道坎。异步推理栈的意义更偏工程——把预测和执行拆开之后，控制频率不再被模型前向的时间死死卡住，这对真实机器人的反应速度是实打实的改善。解读一下：这份工作的价值可能不止于一个更小的模型，更在于它把「可复现」本身当成产出的一部分，连同数据与配方一起交出来。

关心机器人基础模型的研究者、做具身智能落地的工程师，以及想在低成本平台上试 VLA 的开发者，都能从中拿到东西：一套可参照的轻量化架构取舍、一份单 GPU 训练加 CPU 部署的可行性论证，以及一条用社区数据替代大厂数据集的路线。需要提醒的是边界。上面这些结论来自报告的摘要与引言，具体的基准成绩、任务清单与消融对比并不在给定材料里；「与大 10 倍的 VLA 性能相当」的对照组究竟是谁、评测设置如何，也要回到正文核对。材料同样没有给出模型参数量与训练硬件的具体数字，只有「小」和「单 GPU」这样的定性描述。读的时候，把这些当作待验证的承诺而不是既成事实，会更稳妥。

arXiv:2506.01844v1 [cs.LG] 2 Jun 2025 SmolVLA: A vision-language-action model for affordable and efficient robotics Mustafa Shukor∗ Dana Aubakirova∗ Francesco Capuano∗ Pepijn Kooijmans Steven Palma Adil Zouitine Michel Aractingi Caroline Pascal Martino Russi Andres Marafioti Simon Alibert Matthieu Cord v Thomas Wolf Remi Cadene∗ Hugging Face, Sorbonne University, v valeo.ai, École Normale Supérieure Paris-Saclay ∗ Core team Abstract Vision-language models (VLMs) pretrained on large-scale multimodal datasets encode rich visual and linguistic knowledge, making them a strong foundation for robotics. Rather than training robotic policies from scratch, recent approaches adapt VLMs into vision-language-action (VLA) models that enable natural language-driven perception and control. However, existing VLAs are typically massive–often with billions of parameters–leading