FAST面向视觉-语言-动作模型的高效动作Token化

这份资料聚焦一个具体瓶颈：自回归VLA在预测离散token之前，必须先把连续动作信号token化，而tokenization决定了模型输出的离散符号如何映射回连续机器人动作。材料指出，当前常见的按维度、按时间步做简单binning的方案，在高频机器人数据上学习灵巧技能时通常表现不佳。随着VLA走向高频灵巧操作和大规模真实机器人数据，动作如何离散化会直接影响模型能否学到有效动作序列，而不只是实现细节。材料标注该工作被引101次，说明这一问题已引起较多关注；解读上，它值得看的地方在于把“动作tokenization”放到了训练效果的中心。

这份资料覆盖的是方法设计与大规模训练验证。作者提出FAST，即Frequency-space Action Sequence Tokenization，一种基于离散余弦变换（DCT）的压缩式动作tokenization，思路受语言模型中的byte-pair encoding和图像JPEG压缩启发，但针对连续机器人动作做了调整。其核心洞见是：训练前应先压缩动作信号，以降低连续token之间的相关性。基于FAST，作者又发布FAST+，一个在1M条真实机器人动作轨迹上训练的通用动作tokenizer，覆盖多种机器人形态、动作空间和控制频率。材料还把FAST与π0 VLA结合，在DROID数据集和10k小时机器人数据上做训练验证。

关键发现之一，是naive的per-dimension、per-timestep binning在高频控制下会遇到动作“chunk”内部时间步高度相关的问题。材料解释，在这种设定下，自回归的next token prediction目标可以用“复制最近一个动作token”这类简单映射取得较低loss，模型因此停留在较差的局部最优。FAST通过压缩降低连续token相关性，使自回归VLA可以用简单的next token prediction处理高频灵巧任务，而标准离散化方法在这些任务上会完全失败。材料还显示，FAST在高频机器人数据上优于OpenVLA-style等流行binning方案。

第二个关键发现围绕FAST+和大规模训练。FAST+被描述为通用机器人动作tokenizer，可作为black-box tokenizer用于单臂、双臂和移动机器人等广泛动作序列，适应不同动作空间与控制频率。与π0 VLA结合后，FAST-based自回归VLA能扩展到10k小时机器人数据，在多种任务上达到与diffusion VLA相当的性能，同时把训练时间最多减少5倍。材料还称，在DROID数据集上，FAST首次使高效VLA训练成为可能，并得到首个语言条件通用操作策略，可在未见环境中通过自然语言提示进行零样本评估。

这些结论意味着，动作tokenization不是VLA训练管线里的边缘细节，而是会影响模型能否有效学习高频、灵巧动作的关键变量。解读上，FAST的压缩思路针对的是动作序列内部的时间相关性，避免模型用“复制上一token”走捷径，这比单纯调整binning粒度更贴近问题根源。对实践者来说，FAST+作为off-the-shelf的black-box tokenizer，意味着面对不同动作空间和控制频率时，可以减少为每个机器人单独设计离散化方案的工作。与π0结合后“匹配diffusion VLA、训练最多快5倍”的结果，也说明自回归路线在高频灵巧任务上具备竞争力，但这是材料所报告设定下的结论。

对做VLA、机器人策略学习、动作tokenization以及大规模机器人数据训练的读者，这份资料最直接的价值是给出一个可操作的替代方案：用DCT压缩动作序列、降低token相关性，并可直接使用在1M条真实轨迹上训练的FAST+。读完能拿走的核心包括FAST/FAST+的设计逻辑、black-box tokenizer的适用范围，以及π0-FAST在10k小时数据上匹配diffusion VLA且训练最多加速5倍的实证结论。边界也需要看清：材料是论文摘要和正文开头，缺少完整实验配置、消融细节、失败模式与跨embodiment评测范围；FAST+虽在1M条轨迹上训练，但材料未列出具体任务分布和全部控制频率覆盖。零样本评估的结论限于DROID上的语言条件通用操作策略，不宜直接外推到任意机器人或任意任务。

FAST: Efficient Action Tokenization for Vision-Language-Action Models Karl Pertsch ∗,1,2,3, Kyle Stachowicz ∗,2, Brian Ichter 1, Danny Driess 1, Suraj Nair 1, Quan Vuong 1, Oier Mees 2, Chelsea Finn 1,3, Sergey Levine 1,2 1Physical Intelligence, 2UC Berkeley, 3Stanford https://pi.website/research/fast Abstract—Autoregressive sequence models, such as Transformer-based vision-language action (VLA) policies, can be tremendously effective for capturing complex and generalizable robotic behaviors. However, such models require us to choose a tokenization of our continuous action signals, which determines how the discrete symbols predicted by the model map to continuous robot actions. We find that current approaches for robot action tokenization, based on simple per-dimension, per-timestep binning schemes, typically perform poorly when learning dexterous skills from high-frequency robot data.