面向视觉与机器人的可扩展表征

这份资料围绕一个明确问题展开：人工智能系统近年进步显著，但可扩展性和向真实世界问题的泛化仍是显著挑战，那么视觉与机器人所需的表征应当如何构建。作者 Tete Xiao 在 UC Berkeley EECS 的博士论文中，把问题拆成模型可优化性、学习目标和大规模数据集三个关键组件，并尝试把这些结果用于机器人。解读：值得现在看的原因在于，它没有把视觉预训练和机器人控制分成两个孤立话题，而是用“可扩展表征”把它们串在同一条线上。对于关心视觉 backbone 如何 scaling、自监督预训练如何迁移到控制任务的读者，这种组织方式提供了一个可对照的框架。

覆盖范围从 vision transformers 的可优化性开始，随后进入对比自监督学习目标、真实图像上的自监督视觉预训练、in-the-wild 视频预训练，以及用 causal Transformer 做 sim-to-real 的真实人形机器人 locomotion。方法上，论文提出新的可优化性指标和 patchify stem 的替代设计，引入减少归纳偏置的对比自监督目标，并用真实世界图像和多样视频作为预训练来源。机器人部分则展示从像素学习运动控制，以及跨任务、跨 embodiments 的表征迁移。材料没有展开具体数据集名称、实验规模和训练配置，因此这里只能呈现论文摘要层面的方法轮廓。

在关键发现上，论文首先把 vision transformer 的可优化性作为独立问题处理，提出一组新的可优化性指标，并给出 patchify stem 的替代设计。解读：这意味着作者不把 transformer 的规模提升只看作参数和数据的增加，而是把“是否容易优化”视为可扩展表征的前置条件。随后，论文引入对比自监督学习目标，目标是减少自监督学习中的归纳偏置，并在多种数据集上取得更优表现。材料没有给出具体提升幅度，但这一结果的方向是明确的：学习目标的设计会直接影响表征在不同数据上的表现。

机器人部分的发现更贴近应用。论文展示，从真实世界图像做自监督视觉预训练，可以用于从像素学习运动控制任务，效果优于监督基线，并匹配 oracle state 的表现。进一步，作者把预训练扩展到来自多样、in-the-wild 视频的图像，并在真实机器人任务上验证预训练表征跨任务和 embodiments 的有效性。论文还提出一种基于 causal Transformer 的 sim-to-real 学习方法，用于真实世界人形机器人 locomotion，并称这是首个完全基于学习的方法用于真实世界全尺寸人形机器人 locomotion。解读：这些结果把“视觉表征可扩展”推进到“控制任务可迁移”，但材料没有提供具体任务数量、成功率或对比数值，阅读时需要回到原文核对实验细节。

这些结论意味着，构建可扩展的视觉与机器人系统不能只盯着单一模型或单一数据集，而要把可优化性、学习目标和数据规模放在一起权衡。可优化性指标和 patchify stem 设计影响模型能否稳定 scaling；对比自监督目标影响归纳偏置和数据利用效率；真实图像与野生视频则提供了更接近部署分布的预训练来源。对实践者来说，一个直接启示是：在机器人任务中，视觉预训练不必只依赖监督信号，sim-to-real 流程也可以与 causal Transformer 这类序列建模结构结合。换句话说，论文提供的是一套问题分解方式，而不是某个孤立指标的胜负。

这份资料适合关注 vision transformer 优化、自监督视觉预训练、机器人学习和 sim-to-real 的研究者与工程师阅读。读完可以拿走一条相对完整的技术路线：从可优化性诊断出发，选择学习目标，利用真实图像或视频做预训练，再在机器人控制任务上验证迁移。边界也需要说明：材料呈现的是论文摘要层面的内容，没有给出具体数据集、定量结果、消融实验和实现细节；其中“首个”等表述应以原文实验支撑为准。解读：因此它更适合作为进入该方向的路线图和问题清单，而不是直接复现的实验手册。

Scalable Representations for Vision and Robotics Tete Xiao Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2023-189 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2023/EECS-2023-189.html June 9, 2023 Copyright © 2023, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.