通过 3 倍帧插值和换脸技术,创作迷人的动漫舞蹈视频

CN
ComfyUI.org
2025-06-04 09:30:56

解锁令人惊叹的动漫风格舞蹈视频,使用 WanVideo-UniAnimate 工作流!探索如何将真人舞蹈视频转换成迷人的动漫片段,包含姿态控制、换脸技术以及帧插值处理。立即开始,让你的创作焕发新生!

使用场景
Portrait
Video
适用场景
Portrait, Video
关键节点
Reactor
显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型更多 Portrait 工作流

工作流概览

解锁令人惊叹的动漫风格舞蹈视频,使用 WanVideo-UniAnimate 工作流!探索如何将真人舞蹈视频转换成迷人的动漫片段,包含姿态控制、换脸技术以及帧插值处理。立即开始,让你的创作焕发新生!

内容类型: Workflow

主要用途: Download

所需模型

  • Wan2.1
  • Lora

所需节点

  • Reactor

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

mbq907uk57mzjhrftruezgif-18bc2910cc4bc3.gif

这是一个基于 WanVideo-UniAnimate 的视频转绘工作流,专为 跳舞视频风格迁移 设计,核心功能包括:

  • 将真人跳舞视频转为动画风格

  • 支持 姿态控制(DWPose)面部替换(ReActor)

  • 自动补帧(RIFE VFI)提升流畅度

  • 输出720P/1080P高清视频

核心模型与技术:

  • Wan2.1-I2V-14B: 14B参数的视频生成基础模型(FP8量化)

  • UniAnimate Pose: 精准捕捉舞蹈动作

  • RIFE 4.7: 3倍补帧技术


2. 关键组件说明

组件名称

功能说明

安装方式

WanVideoModelLoader

加载14B视频生成模型(需Wan2_1-I2V-14B_fp8_e4m3fn.safetensors

需安装ComfyUI-WanVideoWrapper

WanVideoUniAnimateDWPoseDetector

提取舞蹈动作骨骼信息

同属WanVideoWrapper插件

ReActorFaceSwap

替换生成视频中的人脸(需inswapper_128.onnx

需安装ReActor插件

RIFE VFI

3倍补帧(需rife47.pth

需安装VideoHelperSuite

特殊依赖:

  1. 模型文件:

    • Wan2_1-I2V-14B_fp8_e4m3fn.safetensors → 放入models/wanvideo/

    • umt5-xxl-enc-bf16.safetensors → 放入models/clip/

    • 特效KJ动画-UniAnimate-Wan2.1-14B.safetensors → 放入models/loras/


3. 工作流结构

Group 1: 输入准备

  • 节点: VHS_LoadVideo → 加载跳舞视频(默认降帧至8FPS)

  • 关键参数: frame_load_cap=81(处理前10秒内容)

Group 2: 核心生成

  • 流程:

    1. 通过DWPose提取动作骨骼

    2. 使用UniAnimate生成动画帧(分辨率720x1280)

    3. 应用LoRA控制动画风格

Group 3: 后处理

  • 节点: RIFE VFI → 3倍补帧(输出24FPS视频)

  • 附加功能: ReActor换脸(需准备人脸参考图)


4. 输入与输出

必须输入:

  1. 源跳舞视频(ae3135303eee...mp4

  2. 目标人脸图片(07b81177eb57...png

输出结果:

  • 最终视频保存为MP4格式(H.264编码,CRF=19)

  • 文件命名示例: WanVideoWrapper_I2V_00011.mp4


5. 注意事项

⚠️ 硬件要求:

  • 至少 16GB显存(14B模型需求)

  • 推荐使用 --medvram 参数启动

🔧 常见问题:

  1. 显存不足处理方案:

    • 降低frame_load_cap值(如改为40帧)

    • 减小分辨率(修改ImageResizeKJv2的宽度为640)

  2. 动作不连贯:

    • 增加WanVideoExperimentalArgs中的motion_scale(当前1.25)

常见问题