解锁惊艳的建筑动画:低 VRAM 工作流程指南

CN
ComfyUI.org
2025-04-21 09:14:16

使用我们优化的工作流程,解锁高质量视频动画!在低显存设备上生成 60 秒的摄像机运动视频。探索 FramePack、分块解码和模型量化的强大功能。

使用场景
Video
适用场景
Video
显存
低显存(≤8GB)
阅读时间
4 分钟
更多 Video 工作流

工作流概览

使用我们优化的工作流程,解锁高质量视频动画!在低显存设备上生成 60 秒的摄像机运动视频。探索 FramePack、分块解码和模型量化的强大功能。

内容类型: Workflow

主要用途: Download

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

m9qv0w6jp8k5vu2pnap62c3ba6b8422049a7cccc2d7e357e820409fd8f222cbb4b7556a6e3be5ca24e6.png

这是一个专为 建筑景观动画生成 设计的低显存优化工作流,支持6GB显存设备生成最长60秒视频。核心功能:

  • 输入静态建筑图片(如work-04.jpg),生成摄像机运动动画(如推进、环绕)

  • 采用 分块渲染(Tiled Decoding)显存优化技术FramePack模型量化)

  • 输出30FPS MP4视频(H.264编码,默认分辨率512x512)

2. 核心模型

模型名称

功能说明

lllyasviel/FramePackI2V_HY

主模型(混元视频生成架构)

hunyuan_video_vae_bf16.safetensors

视频VAE解码器(BF16精度)

clip_l.safetensors + llava_llama3_fp16

双CLIP文本编码器(支持多模态提示)

3. 关键组件

组件名称

功能说明

安装方式

FramePackSampler

控制视频生成时序(支持unipc_bh1采样器)

需安装ComfyUI-FramePackWrapper插件

VAEDecodeTiled

分块解码降低显存占用(分块尺寸128x128)

内置节点

VHS_VideoCombine

视频合成(依赖VideoHelperSuite

通过ComfyUI Manager安装

ImageResize+

智能分辨率适配(支持lanczos插值)

安装ComfyUI_essentials插件

4. 工作流结构

  1. 模型加载组

    • 节点:DownloadAndLoadFramePackModel, DualCLIPLoader

    • 输入:模型名称(如FramePackI2V_HY

    • 输出:初始化模型+双CLIP编码器

  2. 图像预处理组

    • 节点:ImageResize+ + GetImageSizeAndCount

    • 输入:原始图片(608x640 → 调整至512x512)

    • 输出:标准化图像+尺寸信息

  3. 动画生成组

    • 节点:FramePackSampler

    • 参数:

      • 采样步数30、CFG值10

      • 摄像机运动提示词:"镜头缓缓前进移动"

    • 输出:潜在空间视频序列

  4. 视频输出组

    • 节点:VAEDecodeTiled + VHS_VideoCombine

    • 参数:帧率30FPS、CRF质量19

    • 输出:FramePack_00001.mp4

5. 输入与输出

  • 输入参数

    • 图片:建议608x640 JPG/PNG(自动适配512x512)

    • 运动提示词:简短动词短语(如"镜头推进"、"环绕展示")

    • 种子值:47(固定种子保证可复现)

  • 输出结果

    • 512x512 MP4视频(YUV420P格式,含元数据)

6. 注意事项

  1. 显存优化

    • 启用tile_size=128分块解码,6GB显存可生成60秒视频

    • 避免修改temporal_overlap=8参数,否则可能引发显存溢出

  2. 提示词技巧

    • 使用 动词主导 的短句(如"无人机俯瞰建筑群")

    • 负面提示词已内置,无需额外输入

  3. 常见问题

    • 模型下载失败:手动下载FramePackI2V_HYComfyUI/models/framepack/

    • 视频卡顿:降低frame_rate至24或减少total_second_length

常见问题