高阶视频转化工作流程:Wan2.1 VACE 完美释放
使用 Wan2.1 VACE、姿势控制和深度控制,将视频转化为风格化动画。了解如何利用AI模型创造惊艳的视觉效果,并学习如何通过这个工作流程提升你的视频编辑技能。
- 使用场景
- Video
- 适用场景
- Video
- 显存
- 中等显存(12–16GB)
- 阅读时间
- 4 分钟
工作流概览
使用 Wan2.1 VACE、姿势控制和深度控制,将视频转化为风格化动画。了解如何利用AI模型创造惊艳的视觉效果,并学习如何通过这个工作流程提升你的视频编辑技能。
内容类型: Workflow
主要用途: Download
所需模型
- Flux
- Wan2.1
配置说明
- 打开工作流模板前,请先安装所需模型。
- 推荐硬件:中等显存(12–16GB)。
1. 工作流概述

作用:
这是一个基于Wan2.1模型的视频转绘工作流,支持通过姿势控制(OpenPose)和深度控制(Depth Map)将输入视频转换为目标风格的动画。核心功能包括:保持参考图片风格(人物/背景)生成动态视频
支持补帧放大(FILM VFI)和视频加速优化
自动提示词生成(Florence2模型)
核心模型:
Wan2.1 VACE:视频生成主模型,支持风格迁移和动作模仿
Florence2:图像描述生成模型,用于自动提示词
DepthAnything V2:深度图生成模型,用于视频结构控制
FILM VFI:补帧模型,提升视频流畅度
2. 组件说明
组件名称 | 功能 | 安装方式 | 依赖模型/插件 |
|---|---|---|---|
| 加载Wan2.1视频生成模型 | 通过 | 需下载模型:HuggingFace链接 |
| 生成深度图控制视频结构 | 通过 | 需下载 |
| 反推图片提示词 | 通过 | 需加载 |
| 视频补帧(提升至32FPS) | 内置 | 需下载 |
| 视频合成与导出 | 通过 | 依赖FFmpeg |
3. 工作流结构
Group 1: 输入设置
输入:视频文件、参考图片、种子值、分辨率限制(如1280x720)
输出:预处理后的视频帧和图像
Group 2: 控制生成
姿势控制:通过
DWPreprocessor提取OpenPose关键点深度控制:通过
DepthAnything_V2生成深度图提示词:手动输入或通过
Florence2自动生成
Group 3: 视频生成
Wan2.1模型:根据文本和图像嵌入生成视频潜在表示
VACE编码:将视频帧编码为模型可处理的格式
Group 4: 后处理
补帧放大:使用
FILM VFI将视频从16FPS提升至32FPS视频合成:合并生成帧并导出MP4文件
4. 输入与输出
必需输入:
视频文件(支持MP4)
参考风格图片(如
Girl_85_Highres.png)正面提示词(如“夜景,美女在跳舞”)
分辨率限制(默认1280)
输出:
最终视频(保存至
output/Video文件夹)中间结果(深度图、姿势关键点等)
5. 注意事项
性能要求:
显存≥12GB(建议使用
BlockSwap降低显存占用)启用
Triton和SageAttn可加速20%-50%
常见问题:
缺失模型时需通过
ComfyUI Manager下载深度控制比姿势控制更稳定,推荐优先使用
优化建议:
调整
WanVideoBlockSwap的blocks_to_swap参数(30-40)以平衡速度与显存