高阶视频转化工作流程:Wan2.1 VACE 完美释放

CN
ComfyUI.org
2025-04-25 09:40:35

使用 Wan2.1 VACE、姿势控制和深度控制,将视频转化为风格化动画。了解如何利用AI模型创造惊艳的视觉效果,并学习如何通过这个工作流程提升你的视频编辑技能。

使用场景
Video
适用场景
Video
显存
中等显存(12–16GB)
阅读时间
4 分钟
查看所需模型更多 Video 工作流

工作流概览

使用 Wan2.1 VACE、姿势控制和深度控制,将视频转化为风格化动画。了解如何利用AI模型创造惊艳的视觉效果,并学习如何通过这个工作流程提升你的视频编辑技能。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Wan2.1

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:中等显存(12–16GB)。

1. 工作流概述

m9wlqlxr745ho8sh0fe23a3ea37ed55437a7436110c0b4c4e1fa8a6121ea0f62e25f6d6cb5f43b5f7fe.gif
  • 作用
    这是一个基于Wan2.1模型的视频转绘工作流,支持通过姿势控制(OpenPose)深度控制(Depth Map)将输入视频转换为目标风格的动画。核心功能包括:

    • 保持参考图片风格(人物/背景)生成动态视频

    • 支持补帧放大(FILM VFI)和视频加速优化

    • 自动提示词生成(Florence2模型)

  • 核心模型

    • Wan2.1 VACE:视频生成主模型,支持风格迁移和动作模仿

    • Florence2:图像描述生成模型,用于自动提示词

    • DepthAnything V2:深度图生成模型,用于视频结构控制

    • FILM VFI:补帧模型,提升视频流畅度


2. 组件说明

组件名称

功能

安装方式

依赖模型/插件

WanVideoModelLoader

加载Wan2.1视频生成模型

通过ComfyUI-WanVideoWrapper安装

需下载模型:HuggingFace链接

DepthAnything_V2

生成深度图控制视频结构

通过ComfyUI-DepthAnythingV2安装

需下载depth_anything_v2_vitl_fp16.safetensors

Florence2Run

反推图片提示词

通过ComfyUI-Florence2安装

需加载Florence-2-Flux-Large模型

FILM VFI

视频补帧(提升至32FPS)

内置

需下载film_net_fp32.pt

VHS_VideoCombine

视频合成与导出

通过ComfyUI-VideoHelperSuite安装

依赖FFmpeg


3. 工作流结构

Group 1: 输入设置

  • 输入:视频文件、参考图片、种子值、分辨率限制(如1280x720)

  • 输出:预处理后的视频帧和图像

Group 2: 控制生成

  • 姿势控制:通过DWPreprocessor提取OpenPose关键点

  • 深度控制:通过DepthAnything_V2生成深度图

  • 提示词:手动输入或通过Florence2自动生成

Group 3: 视频生成

  • Wan2.1模型:根据文本和图像嵌入生成视频潜在表示

  • VACE编码:将视频帧编码为模型可处理的格式

Group 4: 后处理

  • 补帧放大:使用FILM VFI将视频从16FPS提升至32FPS

  • 视频合成:合并生成帧并导出MP4文件


4. 输入与输出

  • 必需输入

    • 视频文件(支持MP4)

    • 参考风格图片(如Girl_85_Highres.png

    • 正面提示词(如“夜景,美女在跳舞”)

    • 分辨率限制(默认1280)

  • 输出

    • 最终视频(保存至output/Video文件夹)

    • 中间结果(深度图、姿势关键点等)


5. 注意事项

  1. 性能要求

    • 显存≥12GB(建议使用BlockSwap降低显存占用)

    • 启用TritonSageAttn可加速20%-50%

  2. 常见问题

    • 缺失模型时需通过ComfyUI Manager下载

    • 深度控制比姿势控制更稳定,推荐优先使用

  3. 优化建议

    • 调整WanVideoBlockSwapblocks_to_swap参数(30-40)以平衡速度与显存

常见问题