使用 WAN2.1 和 RIFE 插帧生成令人惊叹的夜景航拍视频

CN
ComfyUI.org
2025-05-06 09:25:19

通过我们的 WAN2.1 工作流程,解锁惊艳的延时/航拍夜景视频!结合静态图像转动态视频、4 倍超分辨率、RIFE 插帧与自定义 LoRA 模型,轻松实现高质量创作。现在就开始,提升你的影像制作水平吧!

使用场景
Video
适用场景
Video
关键节点
Upscaler
阅读时间
3 分钟
查看所需模型更多 Video 工作流

工作流概览

通过我们的 WAN2.1 工作流程,解锁惊艳的延时/航拍夜景视频!结合静态图像转动态视频、4 倍超分辨率、RIFE 插帧与自定义 LoRA 模型,轻松实现高质量创作。现在就开始,提升你的影像制作水平吧!

内容类型: Workflow

主要用途: Download

所需模型

  • Wan2.1
  • Lora

所需节点

  • Upscaler

配置说明

  • 打开工作流模板前,请先安装所需模型。

1. 工作流概述

macb1s93m1t613cb2nl633f9b433b58d3733046903318c4377514051882f847beec73a95500dcdb566e.gif

此工作流基于通义万相WAN2.1视频生成模型,专为延时摄影/航拍夜景场景设计,主要功能包括:

  • 将静态图像转换为动态延时摄影视频(如城市夜景灯光变化)。

  • 支持4倍超分辨率放大RIFE补帧(提升至32FPS)。

  • 集成专用LoRA(延时摄影航拍夜景_图生视频lora)强化光影效果。

  • 全流程优化显存管理,支持低配置GPU运行。


2. 核心模型

  • WAN2.1主模型Wan2_1-I2V-14B-480P_fp8_e4m3fn):480P图像转视频基础模型,FP8精度节省显存。

  • 文本编码器

    • umt5-xxl-enc-bf16:多语言文本理解(支持中文提示词)。

    • open-clip-xlm-roberta-large-vit-huge-14:图像语义编码。

  • 超分模型4xRealWebPhoto_v4.pth):4倍分辨率提升。

  • 补帧模型rife47.pth):智能插帧至32FPS。


3. 组件说明

关键节点

  • LoadImage:加载输入图像(480x640分辨率推荐)。

  • WanVideoTextEncode:解析中英文混合提示词(如"镜头平滑推进,建筑灯光渐亮")。

  • WanVideoSampler:视频生成核心节点(30步DPM++采样,带SLG光流优化)。

  • CR Upscale Image:4倍超分辨率放大(使用lanczos抗锯齿)。

  • RIFE VFI:补帧至32FPS(插值强度10)。

安装方法

  • 通义万相插件:手动安装ComfyUI-WanVideoWrapper

  • 视频套件:通过ComfyUI Manager安装VideoHelperSuiteComfyUI-Comfyroll-CustomNodes

特殊依赖

  • 模型文件:需从阿里云OSS下载(路径见节点配置)。

  • CUDA工具链:需11.7+版本支持FP8加速。


4. 工作流结构

  1. 输入组

    • 输入:静态图像、中英文提示词。

    • 节点:LoadImageWanVideoTextEncode

  2. 模型加载组

    • 加载WAN2.1模型、VAE、LoRA。

    • 节点:WanVideoModelLoaderWanVideoVAELoader

  3. 视频生成组

    • 核心采样与光流处理。

    • 节点:WanVideoSamplerWanVideoSLG(光流优化)。

  4. 后处理组

    • 超分放大+补帧+视频合成。

    • 节点:CR Upscale ImageRIFE VFIVHS_VideoCombine


5. 输入与输出

  • 输入参数

    • 必选:480x640图像、提示词(如"hangpai, Camera zoom in")。

    • 可选:种子值(如139606775475951)、输出分辨率(默认960x1280)。

  • 输出结果:MP4视频(H.264编码,32FPS),保存为Wan*.mp4


6. 注意事项

  1. 常见错误

    • 缺少FP8依赖会导致WanVideoModelLoader报错(需安装CUDA Toolkit)。

    • 输入图像非480P比例可能引发光流错位。

  2. 性能优化

    • 启用offload_device选项可降低显存占用(需16GB+内存)。

    • 降低补帧强度(如5)可加速生成。

  3. 兼容性

    • 需ComfyUI 0.3.15+,部分节点仅限Linux系统运行。

常见问题