蒙娜丽莎戴着墨镜横屏耍酷！阿里视频生成模型王炸开源，消费级显卡好玩

智东西

作者 | 李水青

编辑 | 心缘

智东西 5 月 15 昨天晚上，阿里通义万相团队开源。 Wan2.1-VACE（Video All-in-one Creation and Editing model，视频剪辑和生成统一模型)。

这是目前行业内功能最全面的视频生成和编辑模型。单个模型可以同时支持各种生成和编辑能力，如文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延伸、视频时长延伸等，并支持多任务组合生成。

例如，Wan2.1-VACE 可以将竖板《蒙娜丽莎》的静态图片扩展到水平动态视频，并为其“佩戴”参考图片中的眼镜，一次性完成三项任务:画幅扩展、时间延伸和图像参考。

这个模型是基于通义万相 V2.1 底座训练，这次共开源 1.3B 和 14B 这两个版本。其中 1.3B 支持版本(轻量级) 480P 视频输出，可以在消费级显卡上运行；14B 支持版本(满血版) 480P/720P，效果更好。

开发者可在 GitHub、Huggingface 以及魔搭社区的下载体验，这个模型也将逐步在通义万相官网和阿里云百炼上线。

开源地址：

GitHub：https://github.com/Wan-Video/Wan2.1

HuggingFace：https://huggingface.co/Wan-AI

魔搭社区：
https://www.modelscope.cn/organization/Wan-AI?tab=model

单一模型可以完成视频生成和编辑。

Wan2.1-VACE 支持所有主流输入方式，包括文本、图像、视频、视频等，定位于“视频领域的全能模型”。Mask 并且控制指令，可以控制角色的一致性、布局、运动姿势和幅度等因素。

涵盖了主要能力：

1. 视频重绘：支持通过景深、姿态、运动轨迹等多维控制条件生成新的视频。

2. 部分编辑：实现视频对象的增删，例如擦掉人物，更换对象(比如熊猫变成狮子)。

3. 图像参考生成：支持单个图像 / 以多图为主体或背景参考，如将卡通形象与实景相结合。

4. 背景延伸：视频画幅自动扩展(如横屏超宽屏)，或者生成新的背景更换绿屏。

5. 时间延长：支持帧持续、片段连续、连接等时域的生成变化。

6. 基本生成：基本文生视频，图生视频，头尾帧等。

二是多任务组合，一次性完成视频增删改扩。

Wan2.1-VACE 其核心突破在于单模支持多任务灵活组合处理，不需要传统多模串联的复杂工作流程。

它支持随机基本能力的随机匹配。用户可以完成更复杂的任务，无需对特定功能进行新的专家模型培训，极大地拓展了它 AI 视频生成的想象空间。

例如：用猫代替视频中框选区，参考原始视频动作序列和新猫图片，实现局部编辑。 动作转移。

这种灵活的组合机制不仅大大简化了创作过程，而且大大扩展了 AI 创造性的视频界限，例如：

图片组合参考 重塑主体功能 → 在视频中更换物体

运动控制的组合 第一帧参照功能 → 控制静态图片的姿态

图片组合参考 首帧参照 背景拓展 时间延伸 → 将竖版图扩展到横屏视频，并将参考图片中的元素添加到其中。

模型亮点解读：统一四大输入，解决多模态难题

Wan2.1-VACE 在通义万相文生视频模型研发的基础上，创新性地提出了全新的视频条件模块。 VCU，它统一了文生视频、参考图生视频、视频生视频、局部视频生视频生视频。 4 大类视频生成与编辑任务。

视频条件模块 VCU 将各种前后文的多模态输入总结为文本、帧序列、Mask 在输入方式上统一了序列三种形式 4 类视频生成与编辑任务统一。VCU 的帧序列和 Mask 在数学上，序列可以相互叠加，为多任务的随意搭配创造条件。

Wan2与此同时.1-VACE 也进一步解决了多模态输入问题 token 实例化难题，将 VCU 在编码之前，输入帧序列进行概念解耦，分离重组可变序列和不可变序列。

结论：视频生成技术进化，从单一任务向多任务组合迈进

通义万相 Wan2.1-VACE 推出反映了视频生成技术从单一任务向多任务组合迈进的趋势。它的开源策略可能会减少 AI 进一步推动视频创作的门槛，进一步推动生成 AI 应用于影视、广告等领域。

自今年 2 到目前为止，通义万相已经开源文生视频模型、图生视频模型、头尾帧生视频模型。目前开源社区的下载量已经超过 330 万，在 GitHub 上夺得超 1.1w star，这是同期最流行的视频生成模式。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com