释放动画新潜能:首帧控制的视频生成工作流

CN
ComfyUI.org
2025-05-29 06:04:13

使用我们的首帧控制动画工作流,轻松生成高质量的 17 帧 MP4 动画视频!该工作流通过保留动作动态、精准控制风格和结构,让你在 AI 动画创作中实现前所未有的自由与精度。

使用场景
Video
适用场景
Video
模型
Wan2.1
显存
低显存(≤8GB)
阅读时间
2 分钟
查看所需模型更多 Video 工作流

工作流概览

使用我们的首帧控制动画工作流,轻松生成高质量的 17 帧 MP4 动画视频!该工作流通过保留动作动态、精准控制风格和结构,让你在 AI 动画创作中实现前所未有的自由与精度。

内容类型: Workflow

主要用途: Download

所需模型

  • Wan2.1

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

mbqbier3nsaafjd0e0aezgif-85f48951a6d616.gif

该工作流是专为视频首帧控制设计的AI视频生成系统,基于阿里巴巴PAI团队的Wan2.1-Fun-1.3B模型,支持通过首帧图像+多模态控制条件(深度图/线稿/姿态)驱动视频生成。主要应用于:

  • 人物动作迁移(如舞蹈/武术)

  • 视频风格化转绘

  • 背景替换与角色替换

2. 核心模型

模型名称

作用

下载来源

Wan2.1-Fun-V1.1-1.3B-Control

视频控制基础模型

HuggingFace

umt5_xxl_fp8_e4m3fn_scaled

多语言文本编码器

需放入text_encoders目录

depth_anything_v2_vitl

深度图生成

自动通过ControlNet-Aux安装

3. 关键组件

  • WanFunControlToVideo (节点3)
    视频生成主控制器,支持832x480分辨率17帧生成
    ▶ 需配合SkipLayerGuidanceWanVideo节点使用

  • DepthAnythingV2Preprocessor (节点79)
    实时生成深度图,分辨率可调(默认512)
    ▶ 依赖comfyui_controlnet_aux扩展

  • LineArtPreprocessor (节点89)
    生成精细线稿,用于角色替换控制
    ▶ 支持coarse(粗糙)/fine(精细)模式切换

4. 工作流结构

阶段1:模型加载

  • 加载Wan2.1三件套:
    UNETLoaderVAELoaderCLIPLoader

  • 特别组件:
    CFGZeroStar实现无分类器引导

阶段2:控制预处理

  • 输入视频通过VHS_LoadVideo拆帧

  • 并行处理:

    • 深度图生成(DepthAnythingV2)

    • 姿态检测(DWPreprocessor)

    • 线稿提取(LineArtPreprocessor)

阶段3:视频生成

  1. 首帧图像通过Florence2生成描述词

  2. 使用KSampler(20步,euler)生成潜变量

  3. 最终输出MP4视频(H.264编码)

5. 核心参数(Python)

{
  "基础分辨率": "768px短边",
  "采样器": "euler @ 20步",
  "CFG Scale": 6.0,
  "控制权重": {
    "深度图": 0.2,
    "线稿": 0.8  
  },
  "视频长度": 17帧@30fps
}

6. 使用技巧

⚠️ 必要准备

💡 创作建议

  • 修改DF_Integer节点值切换分辨率(512/768/1024)

  • 调整WanVideoTeaCacheKJcoefficients参数控制动作幅度

常见问题