HPT：异构预训练Transformer扩展本体感知-视觉学习

机器人学习里长期有个别扭的地方：视觉模型可以从海量图像里预训练，但机器人自己的本体感知——关节角度、力矩、末端位姿这类信号——每个平台都不一样，很难凑成一份能共享的数据。HPT 要回答的大致就是这个界面上的问题：能不能用一套预训练架构，把本体感知和视觉放在一起学，并且跨不同机器人本体做扩展。2024 年下半年，具身智能和机器人基础模型的讨论明显密集起来，这份来自 MIT/Meta 的工作正落在这个方向上。在资料页先建立一个框架性的认识，再决定要不要打开原文，是比较划算的读法。

材料显示，这是一篇通过 arXiv 公开的论文，全文 PDF 可免费下载，方向归在具身智能/机器人基础模型。它的技术路径从标题就能读出大概：以 Transformer 为骨干做「异构」的预训练，学习对象同时包含本体感知与视觉两类信号。所谓异构，按字面理解，指的是训练数据并非来自单一型号、单一传感器配置的机器人——这是对标题的解读，不是材料给出的原文结论。材料本身没有交代数据集规模、实验平台清单或训练细节，方法与数据来源都需要回到原文核对。

标题里的三个词各承担一部分信息。Transformer 说明它沿用通用序列建模的骨干，而不是为某一种机器人手写专用网络；异构说明它正面处理本体差异，而不是先把所有机器人对齐成统一形态再训练；本体感知-视觉则点明输入的两条主线——机器人自身的状态与相机看到的外部世界要一起进入模型。按这个读法，HPT 的着力点不在某一个任务上的精度，而在「能不能跨本体共享预训练」这件事上。这同样是解读，需要原文的实验来坐实。

有一点必须说清楚：这份材料只交代了题目、发布方、时间、方向和获取方式，没有给出任何基准分数、对比结果或消融数字。因此资料页里的「关键发现」一栏应当留白，或者干脆写成「具体结论以原文为准」。换句话说，读者在这里拿到的是一个研究问题的定位和一份可下载的原文入口，而不是结论摘要。凡是具体的性能数字，都只能从 PDF 里找。

即便如此，这个题目本身对实践仍有提示，以下属于解读。如果异构预训练这条路走得通，做机器人基础模型的团队就不必为每个机型从零训练，本体感知也不必被当作视觉模型之外的附属输入。反过来说，把两类信号放进同一套预训练，意味着数据整理阶段就要考虑跨平台的对齐和标注一致性，工程成本会前移到数据侧。这些判断都还需要原文的实验支撑，可以先当作读论文时的问题清单。

适合读这份资料的人，是关注具身智能、机器人基础模型与多模态预训练的研究者和工程团队；读完能拿走的是一份清晰的问题定位、一个可直接下载的原文入口，以及带着「异构」「本体感知」「扩展」这三个关键词去读原文的视角。局限也很明确：材料层面没有结论、没有数字，无法据此评估方法是否有效。要判断 HPT 值不值得跟进，还是得打开 PDF，看它怎么定义异构、怎么组织预训练数据、又在哪些平台上做了验证。