轻松创建惊艳动画视频:Flux.1与WanVideo教程

CN
ComfyUI.org
2025-03-17 10:59:19

利用Flux.1和WanVideo插件生成惊艳的图像和视频。学习如何整合这些模型以进行高质量的图像和视频创作。立即开始吧!

使用场景
Video
适用场景
Video
显存
低显存(≤8GB)
阅读时间
6 分钟
查看所需模型更多 Video 工作流

工作流概览

利用Flux.1和WanVideo插件生成惊艳的图像和视频。学习如何整合这些模型以进行高质量的图像和视频创作。立即开始吧!

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Wan2.1
  • Lora

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

工作流概述

m8cydspj3djtflfdps2d4771f5bf6b6eac5b6ba34ed18775a33ea0a51ac31dc70f92afd6a1b26eb9bf5.gif

这个工作流结合了 Flux.1 模型和 WanVideo 插件,用于从文本生成图像并将其转换为短视频。其主要功能包括:

  1. 使用 Flux.1 模型根据文本提示生成一张高质量图像。

  2. 将生成的图像作为输入,通过 WanVideo 插件生成一个简单的动画视频,保持画面稳定,仅对指定元素(如人物)进行动画处理。

  3. 最终输出一个 MP4 格式的短视频。

核心模型

  • Flux.1(flux1-dev.sft):高效的扩散模型,用于生成初始图像,支持高细节和复杂提示。

  • LoRA(梦幻粘土世界_v1.0.safetensors):微调 Flux.1 的画风,生成梦幻粘土风格图像。

  • CLIP(DualCLIPLoader):加载两个 CLIP 模型(runwayml 和 sd3/clip_l)处理文本提示。

  • VAE(ae.sft):用于 Flux.1 的图像编码和解码。

  • WanVideo 模型(wan2.1_i2v_480p_14B_bf16_Comfy-Org.safetensors):图像到视频的生成模型。

  • WanVideo T5(umt5-xxl-enc-bf16.safetensors):高级文本编码器,处理动画提示。

  • WanVideo CLIP(open-clip-xlm-roberta-large-vit-huge-14_fp16.safetensors):处理图像嵌入。

  • WanVideo VAE(Wan2_1_VAE_bf16.safetensors):用于视频生成中的编码/解码。

组件说明

  1. UNETLoader:加载 Flux.1 模型。

    • 安装:ComfyUI 默认节点。

  2. DualCLIPLoader:加载双 CLIP 模型。

    • 安装:ComfyUI 默认节点。

  3. VAELoader:加载 Flux.1 的 VAE。

    • 安装:ComfyUI 默认节点。

  4. CLIPTextEncode:编码正向提示词。

    • 安装:ComfyUI 默认节点。

  5. FluxGuidance:调整 Flux.1 的生成引导强度。

    • 安装:ComfyUI 默认节点。

  6. BasicGuider:为采样提供引导。

    • 安装:ComfyUI 默认节点。

  7. SamplerCustomAdvanced:高级采样器,生成潜空间图像。

    • 安装:ComfyUI 默认节点。

  8. VAEDecode:解码潜空间图像。

    • 安装:ComfyUI 默认节点。

  9. LoraLoader:加载 LoRA 模型。

    • 安装:ComfyUI 默认节点。

  10. WanVideoModelLoader:加载 WanVideo 模型。

    • 安装:需通过 ComfyUI Manager 安装 WanVideo 插件,模型从官方源下载。

  11. LoadWanVideoT5TextEncoder:加载 T5 文本编码器。

    • 安装:WanVideo 插件提供。

  12. LoadWanVideoClipTextEncoder:加载 WanVideo CLIP。

    • 安装:WanVideo 插件提供。

  13. WanVideoVAELoader:加载 WanVideo VAE。

    • 安装:WanVideo 插件提供。

  14. WanVideoTextEncode:编码动画提示词。

    • 安装:WanVideo 插件提供。

  15. WanVideoImageClipEncode:编码输入图像。

    • 安装:WanVideo 插件提供。

  16. WanVideoSampler:生成视频潜空间。

    • 安装:WanVideo 插件提供。

  17. WanVideoDecode:解码视频帧。

    • 安装:WanVideo 插件提供。

  18. VHS_VideoCombine:将帧组合为 MP4 视频。

    • 安装:需通过 ComfyUI Manager 安装 VideoHelperSuite (VHS) 插件。

工作流结构

  1. 文生图基础组

    • 节点:UNETLoader → LoraLoader → CLIPTextEncode → FluxGuidance → BasicGuider → SamplerCustomAdvanced → VAEDecode

    • 作用:生成一张梦幻粘土风格的图像。

    • 输入:提示词(如“A miniature coffee factory...”)、引导强度(3.5)、采样步数(20)。

    • 输出:一张 1024x1024 的图像。

  2. Wan图生视频组

    • 节点:WanVideoModelLoader → WanVideoTextEncode → WanVideoImageClipEncode → WanVideoSampler → WanVideoDecode → VHS_VideoCombine

    • 作用:将图像转换为动画视频。

    • 输入:图像、动画提示(如“change this photo into animation...”)、帧数(10)、步数(6)。

    • 输出:MP4 格式的短视频。

输入与输出

  • 输入

    • 正向提示词:“A miniature coffee factory where tiny baristas are brewing espresso...”。

    • 动画提示词:“change this photo into animation, keep the whole image and camera steady...”。

    • 分辨率:1024x1024(图像),272x272(视频)。

    • 种子值:固定或随机。

  • 输出:一个 10 帧的 MP4 视频,帧率 16 fps。

注意事项

  • 错误:确保 WanVideo 模型路径正确,否则会报错。

  • 性能优化:使用 bf16 或 fp8 精度,启用 offload_device 减少内存占用。

  • 兼容性:WanVideo 和 VHS 插件需最新版 ComfyUI 支持。

  • 资源需求:推荐 16GB GPU 内存,帧数和步数较低以保持稳定。

常见问题