具身智能的预训练表征

这份资料围绕一个核心问题展开：具身 AI 系统应当学习怎样的视觉世界表征，才能支撑它在杂乱、不完美、非结构化且复杂的世界里完成生存所需的基本行为。作者把视觉的演化起源作为切入点：视觉在 5–6 亿年前演化出来，是为了生态相关的行为。换句话说，视觉表征不是为静态识别而存在，而是服务于行动。值得现在看的地方在于，论文没有停留在“预训练模型好不好”的泛泛讨论，而是系统研究把视觉输入瓶颈到不同预训练表征后，机器人通过试错学习导航和操作技能会受到什么影响。这意味着它讨论的是预训练表征与机器人学习流程之间的接口问题。

覆盖范围分为两部分。第一部分系统研究不同预训练表征作为视觉输入的瓶颈，如何影响机器人通过试错学习原子导航技能（第 2 章）和操作技能（第 3 章）。第二部分利用第一部分得到的经验，去提高表征在更多场景中的准确性，包括室内、室外、桌面等。方法上，第 4 章通过加入 cross-prediction consistency objectives 来改进表征，第 5 章则利用互联网上大量可得的 3D 数据以及机器人先前经验。材料还说明，这些方法主要面向视觉与动作开发，但许多想法具有一般性，可能适用于其他感官模态和行为。

关键发现集中在第一部分：适当的预训练表征会极大提高技能获取的样本效率，也会极大提高所学技能的泛化能力。这个结论来自对不同预训练表征做瓶颈后的机器人试错学习比较，覆盖导航和操作两类原子技能。解读一下：表征选择不是中性的预处理步骤，它会改变机器人学会一项技能需要多少试错，也会改变技能在新情境中的可用程度。论文用“极大”来描述这两方面的影响，但摘要没有给出具体倍数或基准数字，因此这里只能确认方向性结论，不能外推量化幅度。

第二部分的思路是，把第一部分关于表征选择的经验用于提升表征本身在多样上下文中的准确性。第 4 章采用 cross-prediction consistency objectives，第 5 章借助互联网规模 3D 数据和机器人先前经验。这意味着论文不只问“该选哪个现成预训练表征”，还问“如何让表征在室内、室外、桌面等不同场景里更准确”。从方法设计看，跨预测一致性和 3D 数据分别提供了不同的约束与信息来源；材料没有在摘要层面说明它们各自带来的具体提升。这里能确认的是，论文把表征改进视为一个跨场景、可利用多源数据的问题。

这些结论对实践的影响比较直接。做具身 AI 系统时，视觉预训练表征应当被当作机器人学习管线的一部分来评估，而不是只看识别或分类指标；合适的表征可能显著减少试错样本需求，并改善技能泛化。第二部分的两种手段也提示，表征准确性可以通过一致性目标和 3D 数据继续改进，尤其当应用场景从单一环境扩展到室内外和桌面等多种设置时。另一个解读是，虽然论文的方法主要围绕视觉与动作展开，但其问题框架——用预训练表征瓶颈影响下游行为学习——对其他感官模态和行为也有参考价值，不过材料只说到“可能”，不能当作已验证结论。

适合读这份资料的人，是关注具身 AI、机器人学习、视觉表征和预训练模型的读者，尤其是想把表征学习与下游技能获取连起来看的研究者和工程师。读完能拿走的，是一个清晰的问题框架：预训练表征如何作为视觉瓶颈影响导航与操作技能的样本效率和泛化，以及改进表征的两条思路——cross-prediction consistency objectives 与利用互联网 3D 数据和机器人先前经验。边界也需要说明：这份材料是论文摘要和原文摘录，没有展开各章的实验设置、具体指标和消融结果；摘要中的“极大提高”没有对应数字。跨感官模态和行为的适用性在材料中是作者的开放性判断，而非已经报告的结果。

Pretrained Representations for Embodied AI Sasha Sax Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2023-176 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2023/EECS-2023-176.html May 15, 2023 Copyright © 2023, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.