深入探索 Wan2.1 VACE 模型与 ComfyUI,掌握视频转的艺术!
解锁 Wan2.1 VACE 模型驱动的视频翻译!探索一套工作流程,增强每一帧的细节、控制景深,并优化生成效果。学习如何利用这一创新技术,立即改造您的视频内容!
- 使用场景
- Video
- 适用场景
- Video
- 关键节点
- Controlnet
- 显存
- 低显存(≤8GB)
- 阅读时间
- 3 分钟
工作流概览
解锁 Wan2.1 VACE 模型驱动的视频翻译!探索一套工作流程,增强每一帧的细节、控制景深,并优化生成效果。学习如何利用这一创新技术,立即改造您的视频内容!
内容类型: Workflow
主要用途: Download
所需模型
- Flux
- Wan2.1
- Controlnet
所需节点
- Controlnet
配置说明
- 打开工作流模板前,请先安装所需模型。
- 推荐硬件:低显存(≤8GB)。
1. 工作流概述
该工作流基于通义万相Wan2.1 VACE模型,实现视频转绘(Video-to-Video)功能,核心功能包括:
视频帧重绘:将输入视频的每一帧通过AI模型重新渲染,提升画质或添加艺术效果
深度控制:利用
DepthAnything模型提取深度图,增强画面层次感首尾帧引导:通过首尾帧和深度视频控制生成过程的连贯性
Flux优化:采用
Flux Guidance技术优化生成稳定性
2. 核心模型
模型名称 | 功能 | 存放路径 |
|---|---|---|
VACE-Wan2.1-1.3B-Preview.safetensors | 视频转绘主模型 |
|
wan_2.1_vae.safetensors | 视频VAE编码器 | 同上 |
depth_anything_vitl14.pth | 深度图生成模型 |
|
flux1-dev-fp8.safetensors | Flux优化模型 |
|
3. 关键组件
组件名称 (Node) | 功能 | 安装方式 |
|---|---|---|
WanVideoVACEEncode | 视频帧特征编码 | 需安装 |
DepthAnythingPreprocessor | 生成深度图 | 需安装 |
FluxGuidance | 优化生成稳定性 | 内置(需Flux模型) |
VHS_VideoCombine | 视频合成导出 | 需安装 |
4. 工作流结构
Group 1: 加载模型
加载Wan2.1 VACE主模型、VAE编码器和T5文本编码器
Group 2: 第一帧重绘
输入视频的首帧通过
DepthAnything生成深度图使用
FluxGuidance优化重绘效果
Group 3: VACE视频生成
通过首尾帧和深度视频控制生成过程
参数:
分辨率:512x768(可调整)
帧率:16fps(通过
VHS_VideoCombine设置)
Group 4: 视频合成
输出格式:MP4(H.264编码,CRF=19)
5. 输入与输出
必要输入:
源视频(如
bc78b00a0e5776429eae83cf6aedc8d294f3031eb601476ecd3974bec50c0559.mp4)提示词(示例:"Beautiful girl dancing")
最终输出:
重绘后的MP4视频(如
AnimateDiff_00003.mp4)
6. 注意事项
⚠️ 显存需求:至少16GB(建议24GB以上)
💡 模型配置:
确保
Wan2.1 VACE模型放置在正确路径首次运行会自动下载
depth_anything模型(约1.5GB)
🔧 参数调整:
修改
KSampler中的denoise=1可控制重绘强度调整
FluxGuidance的40值平衡细节与稳定性