使用先进的低内存解决方案,打造令人惊叹的建筑视频!

CN
ComfyUI.org
2025-06-12 07:39:00

使用低显存生成长建筑动画!探索一套强大的工作流,结合 FramePack、CLIP Vision 和文本提示实现运动控制。通过我们的逐步指南,学习如何优化内存占用,打造令人惊艳的建筑视觉序列。

显存
低显存(≤8GB)
阅读时间
3 分钟

工作流概览

使用低显存生成长建筑动画!探索一套强大的工作流,结合 FramePack、CLIP Vision 和文本提示实现运动控制。通过我们的逐步指南,学习如何优化内存占用,打造令人惊艳的建筑视觉序列。

内容类型: Workflow

主要用途: Download

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

mbt2iibbl0mqmhsdna图片压缩62c3ba6b8422049a7cccc2d7e357e820409fd8f222cbb4b7556a6e3be5ca24e6.png

这是专为建筑景观设计的低显存动画生成方案,核心特点:

  • 超长生成:通过FramePack技术实现6G显存下60秒动画生成

  • 智能优化:采用分块解码(VAEDecodeTiled)和时间切片技术降低显存占用

  • 多模态控制:结合CLIP视觉编码和文本提示实现动态效果控制

  • 即用性:内置提示词生成器(Note节点提供写作模板)

2. 核心模型

模型名称

功能

来源

FramePackI2V_HY

视频扩散模型(BF16精度)

HuggingFace

hunyuan_video_vae_bf16

轻量化视频VAE

需配套下载

sigclip_vision_patch14_384

视觉特征提取器

自动安装

3. 关键组件

组件名称

功能

安装方式

FramePackSampler

分帧采样器

安装FramePackWrapper

VAEDecodeTiled

分块视频解码

ComfyUI内置(需启用temporal_overlap参数)

VHS_VideoCombine

视频合成

安装VideoHelperSuite

ImageResize+

智能分辨率适配

通过ComfyUI Manager安装

4. 工作流结构

阶段1: 输入预处理

  • 图像输入:通过LoadImage加载建筑景观图(如work-04.jpg

  • 分辨率优化FramePackFindNearestBucket自动匹配最佳分辨率(默认640x640)

  • 视觉编码CLIPVisionEncode提取图像特征

阶段2: 动画生成核心

  • 参数配置

    • FramePackSampler:30步采样,CFG=10,UniPC-BH1采样器

    • 显存优化:开启teacache(阈值0.15)和时间切片(temporal_size=64

  • 动态控制:文本提示(如"镜头缓缓前进移动")控制运镜效果

阶段3: 输出合成

  • 分块解码VAEDecodeTiled按128x128分块处理

  • 视频合成VHS_VideoCombine输出MP4(30FPS,H.264编码)

5. 输入与输出

  • 输入参数

    • 必选:静态建筑景观图(JPG/PNG)

    • 可选:自定义动态提示词(中文优先)

  • 输出结果

    • MP4格式视频(默认输出FramePack_00001.mp4

    • 支持分辨率:512x512至1024x1024

6. 注意事项

  1. 显存优化技巧

    • 降低total_second_length可减少显存占用(每10秒约需1GB)

    • 启用gpu_memory_preservation(默认值6)防止爆显存

  2. 模型依赖

    • 必须下载FramePackI2V_HYhunyuan_video_vae_bf16到对应文件夹

    • CLIP模型会自动下载(需联网)

  3. 常见问题

    • 出现CUDA OOM → 调低latent_window_size(默认值9)

    • 视频卡顿 → 检查temporal_overlap是否≥8

常见问题