Magma：面向多模态AI智能体的基础模型

多模态模型到底能不能从「看懂」走到「做成」，是这份资料试图回答的核心问题。作者指出，当前基于 Vision-Language-Action 的一类模型通常先在大量视觉-语言数据上预训练，再接入动作轨迹，但受限于 2D 数字世界与 3D 物理环境之间的差异，实践中往往分开训练、分开使用：数字世界里有 Pix2ACT、WebGUM、Ferret-UI 这类面向 UI 导航的模型，物理世界里有 RT-2、OpenVLA 这类面向机器人操作的模型。这些模型虽然自称通用，却大多把重点放在学习任务特定的动作策略上，代价是通用多模态理解能力明显下降，跨任务、跨领域的泛化因此受限。这正是 Magma 想要改变的起点：训练一个既能保留语言理解、又能在视觉-空间世界里规划和执行动作的单一基础模型。

作者的方案是把数字环境和物理环境的数据放进同一个模型里训练，而不是在一个领域训完再适配到另一个领域。使用的数据是异构的，横跨图像、视频和机器人数据，具体包括 SeekClick 这类 UI 数据集、机器人操作数据集 OXE、Ego-4d 这类人类教学视频，以及大型多模态模型常用的图文对。作者强调，简单把这些数据集混在一起并不会自动带来收益，因为多模态理解基本是「语言」的——用文本描述图像和视频，而动作任务基本是「空间」的——UI 上是 2D 坐标，机械臂上是 7-DoF。为弥合这道鸿沟，模型被要求从图像或视频帧这类视觉-空间观测中预测近端的动作输出，由此构造出两个代理任务：action grounding 与 action planning。

具体做法体现在两套标注机制上。图像中的可操作视觉对象，例如 GUI 里可以点击的按钮，用 Set-of-Mark（SoM）标出，服务于动作落点（action grounding）；视频中的物体运动，例如人手或机械臂的运动轨迹，用 Trace-of-Mark（ToM）标出，服务于动作规划（action planning）。作者称，实验显示 SoM 与 ToM 之间有很好的协同效应，共同帮助 Magma 获得空间-时间智能，而这正是图 1 中各类任务的基础。换句话说，模型不是靠堆数据学会动作，而是靠这两种「标记」把语言描述和空间坐标对应起来。

结果层面，作者的结论相当直接。Magma 在 UI 导航和机器人操作任务上取得了新的 state-of-the-art，超过了此前专门为这些任务定制的模型；在图像和视频相关的多模态任务上，它与一些在更大规模数据集上训练的流行大型多模态模型相比也不落下风。模型和代码已公开，用于复现。报告展示的任务覆盖面很宽：数字环境里包括关闭中间抽屉、安装 Instagram 应用、找 20 美元以下且五星评分的婴儿鞋，轨迹跑在 AITW 与 Mind2Web 上；物理环境里包括把薯片袋推到左边、把罐子放到左边、削土豆、搅拌锅中食物、把蘑菇放进锅里，轨迹在 SimplerEnv 的 Google Robot 与 Widow-X 真实机器人上展开。理解类示例则从「一个人在黄色出租车车顶上熨衣服」的异常判断，到调大音量的界面操作，再到 5x5 网格中第一行第二列是猫这样的空间推理，以及给出「2021 年 6 月 9 日」这类时间推理。

这些结论意味着什么？从作者的论证看，关键在于把「理解」和「行动」放进同一个模型、同一套训练信号里，而不是先训一个看得懂的模型、再外挂一个会动作的策略头。这意味着多模态能力不必在动作任务面前被牺牲，反过来，动作数据也不必自成一套体系。对实际工作来说，SoM 和 ToM 是两种成本不高、可以直接复用的数据标注思路：前者把界面或场景中的可交互元素显式标出来，后者把视频中的运动轨迹显式标出来，二者共同构成从「看到什么」到「下一步做什么」的中间桥梁。作者还强调单一模型可以零样本方式应用到不同下游任务，这与分别维护数字世界和物理世界两套模型的工程现实形成对照。

读者若关心具身智能、UI 自动化或视觉-语言模型的能力边界，这份资料提供了值得一读的框架性主张：多模态智能体需要同时具备多模态理解与多模态动作预测，前者要覆盖语义、空间和时间，后者要把长时程任务拆解成可执行的动作序列。可以拿走的，是 SoM/ToM 这套构造训练信号的思路，以及「统一训练而非分域训练」这一取舍。需要指出边界：从这段材料看到的是问题设定、方法框架、定性结论和任务清单，作者所称的 SOTA 与「相比更大规模模型不逊色」的具体幅度、消融设置和数据规模，材料中没有给出数字，读者不宜替它补足；文中展示的交互示例也多为定性演示，不能当作系统性评测。

Magma: A Foundation Model for Multimodal AI Agents Jianwei Yang1*† Reuben Tan1† Qianhui Wu1† Ruijie Zheng2‡ Baolin Peng2‡ Yongyuan Liang2‡ Yu Gu1 Mu Cai3 Seonghyeon Ye4 Joel Jang5 Yuquan Deng5 Lars Liden1 Jianfeng Gao1▽ 1Microsoft Research, 2University of Maryland, 3University of Wisconsin-Madison 4KAIST, 5University of Washington https://microsoft.github.io/Magma Multimodal Understanding Spatial User: What is unusual thing about this image? Magma: The unusual aspect of this image is that a man is ironing clothes on the back of a yellow taxi. …. User: How to increase the sound? Magma: Tap on the "Volume" icon. Then, slide the volume up to increase the volume. User: The figure represents a 5x5 grid containing various animals, where each 1x1 square is considered a block and each block contains an animal from ['cat' , 'dog' , 'elephant' , 'giraffe' , 'rabbit']. What is the animal of the