万相:开放先进的大规模视频生成模型
OriginalWan: Open and Advanced Large-Scale Video Generative Models
Built upon the mainstream diffusion transformer paradigm, Wan achieves significant advancements in generative capabilities through a series of innovations, including our novel VAE, scalable pre-training strategies, large-scale data curation, and automated evaluation metrics.
- 发布时间
- 2025-03
内容介绍
Wan 这份技术报告要回答的是一个挺具体的问题:在视频生成这件事上,开源模型能不能追上、甚至超过当时最好的商业方案,同时还能让普通研究者在消费级显卡上跑起来。报告给出的答案是能,方式是同时推两个规模的模型——14B 主打效果、1.3B 主打效率,并把全套代码和权重都开放出来。之所以现在值得翻,是因为它不只是发布一个模型,而是把数据管线、VAE、预训练策略、推理加速和评测方法一起写进了同一份文档,等于把一条完整的技术路线摊开给人看。
覆盖范围上,报告从数据侧一直写到应用侧。数据部分区分了预训练数据与后训练数据,并单独讨论了稠密视频描述(dense video caption),既用了开源数据集,也用了内部数据集,还交代了描述模型的设计与评测。模型部分围绕时空变分自编码器(spatio-temporal VAE)展开,包含结构设计、训练、高效推理与评测四块;主干仍是主流的 diffusion transformer 范式,在此之上做的是预训练与后训练的划分、模型缩放与训练效率(负载分析、并行策略、显存优化、集群可靠性)、推理侧的并行策略、diffusion cache 与量化,以及 prompt alignment。方法上,报告以内部与外部多个 benchmark 的量化评分,加上人类偏好评测,来支撑自己的结论,并附有消融实验。
关键发现可以逐条看。第一是性能定位:14B 模型在数十亿量级的图像与视频数据上训练,报告称其体现了视频生成在数据规模与模型规模两个维度上的 scaling law,并在多个内部与外部 benchmark 上稳定优于现有开源模型以及当时最好的商业方案。第二是规模覆盖与任务广度:Wan 提供 1.3B 与 14B 两个模型,分别对应效率与效果,覆盖 image-to-video、指令引导的视频编辑、个人视频生成等下游应用,合计最多八项任务。第三是中文与英文的视觉文字生成能力——报告称 Wan 是首个能在画面中生成中英双语的模型,这一点直接关系到实用价值。
数字层面,最值得记的两个是显存与偏好胜率。1.3B 模型只需 8.19 GB 显存,因此可以跑在大量消费级 GPU 上,报告同时称它在文生视频上的表现优于一些参数量更大的开源模型。评测方面,Wan-Bench 上 Wan2.1-14B 得分为 0.72,对比对象里 Mochi 为 0.64、Hunyuan 为 0.67、CN-TopA 为 0.69、CN-TopB 为 0.69、Sora 为 0.70;人类偏好对比中,Wan 对 CN-TopA、CN-TopB、Runway、CN-TopC 的胜率为 0.69、0.68、0.82、0.73,对应这些对手的失败率为 0.25、0.24、0.15、0.24。需要注意,HunyuanVideo 是按开源模型测试的,报告在图注里专门说明了这一点。
这些结论意味着什么?从解读的角度看,8.19 GB 这个数字比 benchmark 分数更有现实意义:它把「能不能在自己机器上试」这个问题从否定变成了肯定,视频生成的门槛从集群级别下移到单卡级别。而双语视觉文字生成,意味着模型可以用于带字幕、带招牌、带界面文案的实际素材生产,而不只是做纯视觉演示。同时领先幅度也值得冷静看待:Wan-Bench 上 0.72 对 0.70 的差距并不悬殊,人类偏好胜率里最高的 0.82 是对 Runway,其余几项落在 0.68 到 0.73 之间,换句话说这是明确但非碾压式的领先。报告把评测方法本身也作为贡献之一,这提示读者:这些分数应当连同它的评测口径一起理解。
这份材料的读者,大致是正在做视频生成、想判断该从哪条技术路线切入的研究者与工程师,以及需要评估开源视频模型能否进入生产流程的团队。读完能拿走的是一套可操作的组合:时空 VAE 的设计取舍、预训练与后训练的划分方式、显存与推理优化的具体手段(并行、cache、量化),以及一份可以对照的评测基线。边界也需要说清楚:材料呈现的是模型发布方自己组织的内部与外部 benchmark 和人类偏好评测,Wan-Bench 本身即为该团队提出的指标;此外,报告中的「优于商业方案」是在其测试设定下得出的结论,具体的对手版本与测试配置仍需读者回到原文核对。
原文摘录
自动提取自 PDFWA N: O PEN AND ADVANCED LARGE -SCALE VIDEO GENERATIVE MODELS Wan Team, Alibaba Group ABSTRACT This report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation. Built upon the main- stream diffusion transformer paradigm, Wan achieves significant advancements in generative capabilities through a series of innovations, including our novel spatio-temporal variational autoencoder (V AE), scalable pre-training strategies, large-scale data curation, and automated evaluation metrics. These contributions collectively enhance the model’s performance and versatility. Specifically,Wan is characterized by four key features: Leading Performance: The 14B model of Wan, trained on a vast dataset comprising billions of images and videos, demonstrates the scaling laws of video generation with respect to both data and model size.