将视频动漫化:吉卜力风格动画工作流全攻略

CN
ComfyUI.org
2025-05-28 12:34:54

将真实视频转换为令人惊艳的动漫风格动画!本工作流支持 LoRA 风格控制与自动提示词生成,轻松打造吉卜力般的奇幻动画效果。 立即学习如何用 AI 为你的视频注入动画魔法!

使用场景
Video
适用场景
Video
显存
中等显存(12–16GB)
阅读时间
3 分钟
查看所需模型更多 Video 工作流

工作流概览

将真实视频转换为令人惊艳的动漫风格动画!本工作流支持 LoRA 风格控制与自动提示词生成,轻松打造吉卜力般的奇幻动画效果。 立即学习如何用 AI 为你的视频注入动画魔法!

内容类型: Workflow

主要用途: Download

所需模型

  • Wan2.1
  • Lora

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:中等显存(12–16GB)。

1. 工作流概述

mb7xhkdp8svbosvzel2210dd0b71563ac5a1218770912bfeabe358d0ee212a7b208af71681b4af86127.gif
  • 作用与目的
    该工作流专为将真人视频转换为动漫风格而设计,支持:

    • 输入真人视频(如10068-0228.mp4),输出吉卜力风格动画。

    • 通过LoRA模型(如LiveActionAnim「真人动漫」)控制画风细节。

    • 自动生成视频描述(通过MiniCPM_VQA_Polished节点)或手动输入提示词。

  • 核心模型

    1. Wan2.1-T2V-1.3B:视频生成基础模型(bf16精度)。

    2. Wan2.1_VAE_bf16:视频解码模型。

    3. umt5-xxl-enc-bf16:T5XXL大语言模型,用于文本编码。

    4. LoRALiveActionAnim模型,增强动漫风格转换。

2. 组件说明

  • 关键节点

    • WanVideoSampler:核心采样器,使用unipc调度算法生成视频帧。

    • WanVideoLoraSelect:动态加载LoRA模型(权重0.7)。

    • MiniCPM_VQA_Polished:分析输入视频生成英文描述(如“Studio Ghibli style...”)。

    • BaiduTranslateNode:将中文提示词翻译为英文(如“LiveActionAnim,一位美女在跳舞”)。

  • 特殊依赖

    • 模型文件

      • Wan2.1-T2V-1.3B.safetensors需放入models/wan_video/

      • umt5-xxl-enc-bf16.safetensors需放入models/text_encoders/

    • 插件

      • ComfyUI-WanVideoWrapper:必须安装以支持视频生成节点。

      • comfyui-videohelpersuite:用于视频加载与合成。

3. 工作流结构

  • Group 1: 输入处理

    • VHS_LoadVideo:加载视频(分辨率832x480,帧率16fps)。

    • DepthAnythingV2Preprocessor:提取视频深度信息。

  • Group 2: 提示词生成

    • 自动路径:MiniCPM_VQA_Polished生成描述 → 翻译 → 文本编码。

    • 手动路径:直接输入中/英文提示词。

  • Group 3: 视频生成

    • WanVideoModelLoader加载模型 → WanVideoSampler生成帧 → WanVideoDecode输出视频。

4. 输入与输出

  • 输入参数

    • 视频文件:支持MP4格式(如10068-0228.mp4)。

    • 提示词:可选自动生成或手动输入。

    • 分辨率:832x480(默认),可通过ImageResizeKJ调整。

  • 输出结果

    • 最终生成吉卜力风格的动漫视频(MP4格式,H.264编码)。

5. 注意事项

  • 性能需求

    • 显存≥12GB,推荐使用bf16模型以降低资源占用。

  • 错误处理

    • 若缺少umt5-xxl-enc-bf16模型,需从HuggingFace下载。

  • 兼容性

    • 仅支持NVIDIA显卡(需CUDA 12.1+)。


常见问题