焕新你的视频:AI 驱动的帧级修复与增强

CN
ComfyUI.org
2025-03-24 14:07:36

解锁 AI 驱动的视频修复!探索如何使用 Wan2_1-T2V-1_3B_bf16 等前沿模型,通过帧级增强和风格迁移修复模糊视频。了解如何安装和使用这些模型,实现令人惊艳的视频重渲染与高清修复。

使用场景
Video
适用场景
Video
显存
低显存(≤8GB)
阅读时间
7 分钟
查看所需模型更多 Video 工作流

工作流概览

解锁 AI 驱动的视频修复!探索如何使用 Wan2_1-T2V-1_3B_bf16 等前沿模型,通过帧级增强和风格迁移修复模糊视频。了解如何安装和使用这些模型,实现令人惊艳的视频重渲染与高清修复。

内容类型: Workflow

主要用途: Download

所需模型

  • Wan2.1
  • Lora

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

🛠️ 工作流概述 (Workflow Overview)

m8n56dpck7h3vuhnzuf37a73d7e2c8c4fc9b435e9dbb8289ad3fd88e05bb25d2ca36936ea90c6d3a77.jpg

作用与目的:
该工作流旨在通过 AI 对模糊视频进行帧级修复与高清重建。它结合了 视频加载、帧级处理、视频控制嵌入、VAE 编码解码、采样器、Lora 模型和视频合成 等节点,实现对视频的高清修复、重绘或风格迁移。

核心功能:

  1. 视频加载与解析: 从视频中提取帧图像并进行预处理。

  2. 视频增强与重绘: 通过 AI 模型修复模糊视频或将视频转换为新风格。

  3. 视频合成与输出: 将生成的视频帧合成为最终视频并输出。


🔥 核心模型 (Core Models)

  1. Wan2_1-T2V-1_3B_bf16.safetensors

    • 功能:

      • Wan 模型用于视频生成与修复,能够进行视频重绘或高清修复。

    • 安装方式:

      • .safetensors 文件放入 models/WanVideo 文件夹。

      • 支持通过 ComfyUI Manager 安装。

  2. 视频 Lora 模型:视频转视频控制

    • 模型名称:

      • 视频转视频控制_wan2.1-1.3b-control-lora-tile-v0.2_comfy.safetensors

    • 功能:

      • 增强视频修复与生成过程中的控制效果。

    • 安装方式:

      • 将 Lora 模型放入 models/Lora 文件夹。

  3. VAE 模型:Wan2_1_VAE_bf16.safetensors

    • 功能:

      • 编码与解码视频帧图像,生成高清纹理。

    • 安装方式:

      • 将 VAE 模型放置在 models/WanVAE 文件夹。


⚙️ 组件说明 (Nodes Explanation)

  1. VHS_LoadVideo

    • 功能:

      • 加载视频并解析帧图像、音频和视频元数据。

    • 参数配置:

      • 帧加载上限:50

      • 跳过首帧数量:0

      • 选择帧频率:1

    • 输出:

      • 帧图像、音频、帧数和视频信息。

  2. WanVideoVAELoader

    • 功能:

      • 加载 VAE 模型,用于图像编码和解码。

    • 参数配置:

      • 模型路径:Wan2_1_VAE_bf16.safetensors

    • 输出:

      • VAE 模型数据。

  3. WanVideoModelLoader

    • 功能:

      • 加载 Wan 视频生成模型。

    • 参数配置:

      • 模型路径:Wan2_1-T2V-1_3B_bf16.safetensors

    • 输出:

      • 视频生成模型。

  4. WanVideoLoraSelect

    • 功能:

      • 加载 Lora 模型,增强视频生成效果。

    • 参数配置:

      • Lora 模型路径:视频转视频控制_wan2.1-1.3b-control-lora-tile-v0.2_comfy.safetensors

    • 输出:

      • Lora 模型数据。

  5. WanVideoTextEncode

  • 功能:

    • 对文本提示进行编码。

  • 参数配置:

    • 正面提示词:

    • a chinese women dance, dress

    • 负面提示词:

    • 色调艳丽,过曝,静态,细节模糊不清,字幕,画面发灰,最差质量,低质量,JPEG压缩残留,丑陋的,畸形肢体

  • 输出:

    • 文本嵌入数据。

  1. WanVideoSampler

    • 功能:

      • 将文本和图像嵌入数据与模型进行采样,生成视频帧。

    • 参数配置:

      • 采样步数:30

      • CFG:5

      • 采样方法:unipc

    • 输出:

      • 修复后的图像帧。

  2. WanVideoDecode

    • 功能:

      • 解码潜在空间图像为视频帧。

    • 参数配置:

      • 解码分辨率:272x272

    • 输出:

      • 修复或生成的图像。

  3. VHS_VideoCombine

    • 功能:

      • 将图像帧合成为视频,并导出音频。

    • 参数配置:

      • 视频格式:H264-MP4

      • 帧率:16

      • CRF:19

    • 输出:

      • 合成后的视频文件。


🧩 工作流结构 (Workflow Structure)

Group 1:视频加载与解析

  • VHS_LoadVideo → 加载视频并解析帧图像。

  • WanVideoVAELoader → 加载 VAE 模型。

  • WanVideoModelLoader → 加载视频生成模型。

  • WanVideoLoraSelect → 加载 Lora 模型。

Group 2:文本与图像嵌入

  • WanVideoTextEncode → 文本提示词编码。

  • WanVideoControlEmbeds → 图像嵌入处理。

Group 3:视频生成与修复

  • WanVideoSampler → 采样视频帧。

  • WanVideoDecode → 解码生成视频帧图像。

Group 4:视频合成与输出

  • VHS_VideoCombine → 将生成的帧图像合成视频。

  • 输出格式: MP4


🔥 输入与输出 (Inputs & Outputs)

输入参数:

  • 模糊视频文件。

  • VAE 和视频生成模型。

  • Lora 模型。

  • 正负面提示词。

  • 视频采样参数。

输出结果:

  • 高清修复后的视频。

  • 可带音频输出。


⚠️ 注意事项 (Considerations)

  1. 性能需求:

    • 该工作流涉及视频解码与重建,显存消耗较大,建议使用 16GB 显存的 GPU 进行推理。

  2. 视频分辨率限制:

    • 输入视频分辨率过高可能导致内存溢出,建议分辨率控制在 1080p 以下

  3. 模型版本兼容性:

    • 确保模型与 ComfyUI 版本一致,避免输出异常。

  4. 输出质量控制:

    • 使用负面提示词减少视频修复中的伪影和异常细节。

常见问题