深入探索 Wan2.1 VACE 模型与 ComfyUI,掌握视频转的艺术!

CN
ComfyUI.org
2025-05-30 07:10:20

解锁 Wan2.1 VACE 模型驱动的视频翻译!探索一套工作流程,增强每一帧的细节、控制景深,并优化生成效果。学习如何利用这一创新技术,立即改造您的视频内容!

使用场景
Video
适用场景
Video
关键节点
Controlnet
显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型更多 Video 工作流

工作流概览

解锁 Wan2.1 VACE 模型驱动的视频翻译!探索一套工作流程,增强每一帧的细节、控制景深,并优化生成效果。学习如何利用这一创新技术,立即改造您的视频内容!

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Wan2.1
  • Controlnet

所需节点

  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

该工作流基于通义万相Wan2.1 VACE模型,实现视频转绘(Video-to-Video)功能,核心功能包括:

  • 视频帧重绘:将输入视频的每一帧通过AI模型重新渲染,提升画质或添加艺术效果

  • 深度控制:利用DepthAnything模型提取深度图,增强画面层次感

  • 首尾帧引导:通过首尾帧和深度视频控制生成过程的连贯性

  • Flux优化:采用Flux Guidance技术优化生成稳定性

2. 核心模型

模型名称

功能

存放路径

VACE-Wan2.1-1.3B-Preview.safetensors

视频转绘主模型

ComfyUI/models/wan_video/

wan_2.1_vae.safetensors

视频VAE编码器

同上

depth_anything_vitl14.pth

深度图生成模型

ComfyUI/models/depth_anything/

flux1-dev-fp8.safetensors

Flux优化模型

ComfyUI/models/unet/

3. 关键组件

组件名称 (Node)

功能

安装方式

WanVideoVACEEncode

视频帧特征编码

需安装ComfyUI-WanVideoWrapper插件

DepthAnythingPreprocessor

生成深度图

需安装ComfyUI-ControlNet-Aux插件

FluxGuidance

优化生成稳定性

内置(需Flux模型)

VHS_VideoCombine

视频合成导出

需安装ComfyUI-VideoHelperSuite

4. 工作流结构

Group 1: 加载模型

  • 加载Wan2.1 VACE主模型、VAE编码器和T5文本编码器

Group 2: 第一帧重绘

  • 输入视频的首帧通过DepthAnything生成深度图

  • 使用FluxGuidance优化重绘效果

Group 3: VACE视频生成

  • 通过首尾帧和深度视频控制生成过程

  • 参数:

    • 分辨率:512x768(可调整)

    • 帧率:16fps(通过VHS_VideoCombine设置)

Group 4: 视频合成

  • 输出格式:MP4(H.264编码,CRF=19)

5. 输入与输出

  • 必要输入

    • 源视频(如bc78b00a0e5776429eae83cf6aedc8d294f3031eb601476ecd3974bec50c0559.mp4

    • 提示词(示例:"Beautiful girl dancing"

  • 最终输出

    • 重绘后的MP4视频(如AnimateDiff_00003.mp4

6. 注意事项

  • ⚠️ 显存需求:至少16GB(建议24GB以上)

  • 💡 模型配置

    • 确保Wan2.1 VACE模型放置在正确路径

    • 首次运行会自动下载depth_anything模型(约1.5GB)

  • 🔧 参数调整

    • 修改KSampler中的denoise=1可控制重绘强度

    • 调整FluxGuidance40值平衡细节与稳定性

常见问题