CoT-VLA：视觉-语言-动作模型的视觉思维链推理

这份资料讨论的是 vision-language-action 模型（VLA）在复杂操作任务中缺少中间推理的问题。现有 VLA 虽然能利用机器人和非机器人来源的大规模数据，但主要做直接的输入—输出映射，没有复杂操作所需的中间推理步骤，也因此缺少时序规划或推理能力。CoT-VLA 提出的做法是把显式视觉思维链引入 VLA：先自回归预测未来图像帧作为视觉目标，再生成一段短动作序列去实现这个目标。换句话说，它让模型在动手前先“用图像想一遍”。这个思路值得现在看，是因为它直接针对 VLA 从感知到动作之间缺一层可检查计划的结构性空白。

这项研究构建了一个 7B 的 CoT-VLA 系统，基于能理解和生成文本与图像的统一多模态基础模型，并让它同时理解与生成视觉 token 和动作 token。训练上，先用 Open X-Embodiment 数据集和无动作视频数据集（材料提到 EPIC-KITCHEN-100）训练基础模型，再在下游机器人设置采集的任务演示上微调。方法上，子目标图像不是额外标注出来的，而是机器人演示数据中自然存在的状态，预处理需求很小；同时因为子目标图像生成不需要动作标注，模型可以利用大量无动作视频来增强视觉推理。系统还采用混合注意力：文本和图像生成用因果注意力与下一 token 预测，动作预测则用 full attention 一次预测所有动作维度，并以 action chunking 预测动作序列而不是单步动作。

实验结果给出的核心数字有两个：在真实世界操作任务上，CoT-VLA 比材料所称的 state-of-the-art VLA 模型高出 17%；在仿真基准上高出 6%。这两个数字来自材料对整体性能的总结，说明视觉思维链不是只增加可解释性，还带来了可测量的策略性能提升。需要强调的是，这是相对提升，材料没有展开每个任务、每个基准的逐项差异，因此不能把它理解为所有场景都固定提升这个幅度。7B 的规模也表明，这套方法是在较大统一多模态模型上实现的，而不是一个轻量插件。

材料还报告了两项设计上的发现：action chunking 和混合注意力机制都能改善模型性能。前者让模型一次输出一段动作，后者把像素/文本生成的自回归注意力与动作维度的全量注意力分开处理，意味着视觉推理和动作解码可以按不同结构组织。另一个值得注意的点是数据层面的：传统 VLA 主要使用带动作标注的机器人演示，而 CoT-VLA 还能利用 EPIC-KITCHEN-100 这类无动作数据集来增强子目标图像生成能力。换句话说，视觉思维链把“动作标注”和“视觉推理”部分解耦，为使用更丰富的无标注视频打开了口子。

这些结论的实践含义是，复杂操作中的 VLA 不一定要把观测直接压成动作，可以先在像素空间生成一个子目标，再让动作模块围绕这个子目标做短序列预测。这意味着下游部署时的微调可以围绕“子目标是否合理、动作是否达成子目标”来排查，而不是只看最终动作输出；同时，无动作视频数据可能成为提升视觉推理的补充来源。需要标明这是解读：材料支持“视觉 CoT 改善性能”和“可利用无动作数据”的判断，但没有给出数据规模、计算成本和失败案例，因此工程落地时仍需自行验证子目标质量与动作执行的匹配程度。

适合阅读这份资料的人，包括做机器人学习、VLA、多模态基础模型和具身智能系统研究的读者，以及关心如何把无动作视频用于策略学习的人。读完可以拿走一个清晰的方法框架：子目标图像作为中间推理步骤、7B 统一多模态模型承载视觉与动作 token、混合注意力加 action chunking 的训练与解码设计，以及真实任务 17%、仿真 6% 的相对提升结论。边界也需要说清楚：材料是论文摘要和引言层面的介绍，没有展开具体任务列表、逐项基准结果、消融实验数字和失败模式；17% 与 6% 是相对当时 SOTA 的提升，不能外推到所有机器人或所有操作难度。子目标图像来自演示数据和无动作视频，其质量与覆盖范围会直接影响这套方法的上限，这一点材料没有给出定量评估。

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models Qingqing Zhao1,2,* Yao Lu1 Moo Jin Kim2 Zipeng Fu2 Zhuoyang Zhang3 Yecheng Wu1,3 Zhaoshuo Li1 Qianli Ma1 Song Han1,3 Chelsea Finn2 Ankur Handa1 Ming-Yu Liu Donglai Xiang 1† Gordon Wetzstein2† Tsung-Yi Lin1† 1NVIDIA 2Stanford University 3MIT Abstract Vision-language-action models (VLAs) have shown potential in leveraging pretrained vision-language models and diverse robot demonstrations for learning generalizable sensorimo- tor control. While this paradigm effectively utilizes large- scale data from both robotic and non-robotic sources, cur- rent VLAs primarily focus on direct input–output mappings, lacking the intermediate reasoning steps crucial for complex manipulation tasks. As a result, existing VLAs lack tem- poral planning or reasoning capabilities. In this paper , we