Step-Video-T2V视频基础模型技术报告的实践挑战与未来

Step-Video-T2V 是一份关于视频基础模型如何从工程上搭起来的技术报告，由 StepFun（阶跃星辰）的 Step-Video Team 撰写。它要回答的核心问题是：在扩散模型范式下，怎样训练一个参数量足够大、时长足够长、同时支持中英文提示的文生视频模型，以及这条路线目前卡在哪里。值得现在看的原因在于，报告没有停在模型结构介绍上，而是把数据、训练阶段、评测基准和失败原因一并摊开，并对“当前范式能做到什么、做不到什么”给出了明确判断。报告把视频基础模型分成两级：Level-1 是跨模态翻译系统，能把文本、视觉或多模态输入转成视频；Level-2 是预测系统，类似大语言模型，能预测未来事件、做多模态推理甚至模拟真实场景。作者直言 Sora、Veo、Kling、Hailuo 以及本报告描述的 Step-Video 都还属于 Level-1。

模型本身的规格是清楚的：30B 参数，最长可生成 204 帧。为此配套了一个深度压缩的变分自编码器 Video-VAE，做到 16x16 的空间压缩比和 8 倍的时间压缩比，同时保持视频重建质量。文本侧用两个双语文本编码器，让模型直接理解中文或英文提示，而不需要先做机器翻译。去噪主干是一个带 3D 全注意力（3D full attention）的 DiT，用 Flow Matching 训练，把输入噪声还原成潜空间帧。在监督微调之后，还加了一步基于视频的 DPO（Video-DPO），用来减少伪影、提升生成视频的视觉质量。

训练流程是级联式的，依次为文生图预训练、文生视频预训练、监督微调（SFT）和直接偏好优化（DPO）。作者给出的第一条经验是：文生图预训练不可省略，它让视频模型先获得概念、场景及其空间关系这类视觉知识，为后续视频预训练打底。第二条更具体——低分辨率的文生视频预训练对学习运动动态至关重要，这个阶段训练得越稳定、喂进去的多样化数据越多，后面把模型精修并扩展到更高分辨率和更复杂任务就越容易。换句话说，报告把“先学静态视觉、再学动态、最后对齐偏好”当作一条有先后依赖的路线，而不是可以随意调换的模块组合。

评测方面，团队自建了一个新基准 Step-Video-T2V-Eval，包含 11 个类别下的 128 条多样化提示词，并附上若干顶级开源与商业文生视频引擎的生成结果用于对比。报告称，在这个基准上 Step-Video-T2V 的文生视频质量达到了与开源和商业引擎相比的领先水平。模型与评测集都已在 GitHub 的 stepfun-ai/Step-Video-T2V 仓库公开，线上版本可从 yuewen.cn/videos 访问。作者同时说明了动机：加速视频基础模型的创新，并让视频内容创作者受益。

报告最有信息量的部分是对当前范式局限的坦率讨论。扩散式文生视频模型只学到了提示词与视频之间的映射，没有显式建模视频内部的因果关系，因此遇到需要复杂动作序列（报告举的例子是体操表演）或需要遵守物理规律（例子是篮球在地板上弹跳）的场景时常常失败，更谈不上像大语言模型那样做因果或逻辑任务。基于自回归的路线通过预测下一个视频 token、帧或片段引入了因果建模机制，但在文生视频生成上的表现仍比不上扩散模型。这意味着，在作者看来，规模化与画质提升并不自动通向 Level-2，“能生成好看的视频”和“能预测世界如何演化”之间还隔着一层尚未解决的表征问题。

对做视频生成的团队来说，这份材料的可用之处在于它把工程决策和经验判断连在一起：压缩比、双语编码、级联训练顺序、DPO 的介入位置，以及“低分辨率阶段要稳、数据要杂”这类不那么显然的结论，都可以直接拿来对照自己的训练配方。做评测或多模态研究的人则能从中看到一个自建基准的组织方式，以及作者对 Level-1 与 Level-2 的划分框架。需要提醒的是边界：报告是研发方自述，Step-Video-T2V-Eval 由同一团队构建，所谓领先水平是在这个自建基准上得出的结论，材料中没有给出与其他基准的横向数字；此外，关于局限性的讨论主要是定性描述，没有配套的量化分析。因此它更适合当作一份路线图式的实践记录来读，而不是一份独立的第三方评测。

Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model Step-Video Team StepFun Abstract We present Step-Video-T2V, a state-of-the-art text-to-video pre-trained model with 30B parameters and the ability to generate videos up to 204 frames in length. A deep compression Variational Autoencoder,Video-V AE, is designed for video gen- eration tasks, achieving 16x16 spatial and 8x temporal compression ratios, while maintaining exceptional video reconstruction quality. User prompts are encoded us- ing two bilingual text encoders to handle both English and Chinese. A DiT with 3D full attention is trained using Flow Matching and is employed to denoise input noise into latent frames. A video-based DPO approach, Video-DPO, is applied to reduce artifacts and improve the visual quality of the generated videos. We also detail