Cosmos-Transfer1：自适应多模态条件世界生成

Cosmos-Transfer1 讨论的是如何根据分割、深度、边缘等多种空间控制输入生成世界模拟，并让不同空间位置对不同条件输入拥有不同权重。它把问题从单一条件控制推进到多模态、时空自适应的条件控制，目标包括 world-to-world transfer 和 Sim2Real。值得看的地方在于，这套方法不仅给出了模型设计，还给出了面向 Physical AI 的应用示例、推理扩展策略以及开源入口。换句话说，它更像一个可继续拆解和复用的世界生成框架，而不只是一条生成效果展示。

这份资料覆盖模型动机、基于 ControlNet 的多模态控制分支设计、时空控制图机制，以及机器人 Sim2Real 和自动驾驶数据增强等应用概述。方法上，Cosmos-Transfer1 建立在 Cosmos-Predict1 之上，后者是一组基于扩散 Transformer 的世界模型；Cosmos-Transfer1 通过 ControlNet 设计为 DiT 增加多模态控制分支。每个模态对应一个控制分支，若有 N 个多模态视频输入，就有 N 个控制分支，这些分支分别训练，并在推理时融合。在给定材料范围内，评估用于分析模型并展示 Physical AI 相关应用，但没有出现具体评测数值或对比基线。

关键设计是空间条件方案的自适应与可定制。时空控制图会指定每个模态在每个位置和时间实例上的权重，权重越高，该模态对生成结果的影响越大。材料给出两个直观例子：可以全局更偏向深度输入，以保留输入场景的几何结构；也可以给前景物体更高的边缘权重以保留细节，同时降低背景权重以允许背景多样化生成。控制图还可以由一个单独的神经模块推断，这说明权重不必完全手工设定，但材料没有展开该模块的具体做法。

材料中明确提到的实现数字包括：每个控制分支使用三个条件块，选择三个是材料所称的控制效果与推理效率之间的折中；N 个模态输入对应 N 个控制分支；实时世界生成借助 NVIDIA GB200 NVL72 rack 的推理扩展策略实现。控制分支的 Transformer 块继承基础扩散模型中对应块的权重，输出经过零初始化线性层后加回基础模型的对应激活，训练时基础模型权重保持冻结。资料还称模型权重、代码和示例脚本已开源，便于继续研究。需要指出的是，给定材料没有给出生成质量的具体分数，因此无法据此判断相对提升幅度。

这些设计的实践含义是，世界生成的控制粒度从整帧条件推进到局部时空加权。材料指出，深度和分割在 CG 模拟器中往往可以免费获得，把它们作为多模态输入，可以在保留场景结构和语义的同时让渲染更真实，这正是 Sim2Real 的一个直接用法。对自动驾驶数据增强而言，类似机制可以用于在保持场景约束的前提下生成多样化数据。解读来看，这种局部可调性让使用者能在“保留结构”和“放开多样性”之间按区域调节，但前提是准备好多模态控制输入并设计控制图；实时生成则依赖相应的推理扩展和硬件条件。

读者若关注世界模型、扩散模型的条件控制、机器人 Sim2Real 或自动驾驶数据合成，可以从这份资料中拿走多分支 ControlNet 的组织方式、时空控制图的作用、推理扩展思路以及开源入口。读完能拿走的是方法框架和工程组织方式，而不是可直接复现的实验结论。边界也很清楚：给定材料主要是摘要和正文前段，未包含定量实验细节，实时性结论绑定在 GB200 NVL72 上，控制图权重如何设定、神经模块如何推断也没有展开。因而它更适合用来定位方法脉络和判断是否值得进一步读源码与论文正文。

2025-4-3 Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control NVIDIA1 Abstract We introduce Cosmos-Transfer1, a conditional world generation model that can generate world simula- tions based on multiple spatial control inputs of various modalities such as segmentation, depth, and edge. In the design, the spatial conditional scheme is adaptive and customizable. It allows weighting different conditional inputs differently at different spatial locations. This enables highly controllable world generation and finds use in various world-to-world transfer use cases, including Sim2Real. We conduct extensive evaluations to analyze the proposed model and demonstrate its applications for Physical AI, including robotics Sim2Real and autonomous vehicle data enrichment. We further demon-