解锁梦幻云朵场景:工作流逐步部署指南

CN
ComfyUI.org
2025-03-19 11:19:25

通过 AI 生成梦幻云朵场景:探索一个结合 LoRA 模型和 ControlNet 技术的工作流,创造超现实的云朵场景图像。了解如何使用这个工作流及其核心模型,制作出令人惊叹的视觉效果。

关键节点
Controlnet
显存
低显存(≤8GB)
阅读时间
6 分钟
查看所需模型

工作流概览

通过 AI 生成梦幻云朵场景:探索一个结合 LoRA 模型和 ControlNet 技术的工作流,创造超现实的云朵场景图像。了解如何使用这个工作流及其核心模型,制作出令人惊叹的视觉效果。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Controlnet
  • Lora
  • Sd

所需节点

  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

工作流概述

m8ftz46v7mq5byngtjl01515f8d144f313bdabcd40e049e60f43edc5bbd239e814eaf6dfd264138e99a.gif

这个工作流的主要目的是生成具有“云端场景超级视角”风格的图像。它通过使用 LoRA 模型和 ControlNet 技术,结合提示词和图像生成模型,生成具有梦幻、超现实风格的云端场景图像。工作流分为“在线运行”和“本地运行”两个模块,用户可以根据具体的使用场景选择其中一个模块运行。

核心模型

工作流中使用了以下核心模型:

  • LoRA 模型miluo丨云端场景丨超级视角_v1.3,用于微调生成图像的风格和细节,赋予图像独特的云端场景视角。

  • Stable Diffusion 模型miluo-flux-pro_模型配置更智能_v1.0,作为基础的图像生成模型,负责根据提示词和条件生成图像。

  • VAE 模型ae.sft,用于图像的编码和解码。

组件说明

工作流中的关键组件(Nodes)包括:

  1. EmptyLatentImage:生成空白的潜在空间图像,作为图像生成的起点。

  2. CheckpointLoaderSimple:加载 Stable Diffusion 模型(如 miluo-flux-pro_模型配置更智能_v1.0)。

  3. LoraLoader:加载 LoRA 模型(如 miluo丨云端场景丨超级视角_v1.3),用于微调生成图像的风格。

  4. CLIPTextEncode:将提示词编码为模型可以理解的条件向量。

  5. KSampler:采样器,用于生成图像的过程,控制生成图像的步骤和细节。

  6. VAEDecode:将潜在空间图像解码为可视图像。

  7. PreviewImage:预览生成的图像。

安装方法

  • LoRA 模型Stable Diffusion 模型需要通过 ComfyUI Manager 或 GitHub 安装相应的插件。例如:

    • LoRA 插件:ComfyUI_Comfyroll_CustomNodes

    • Stable Diffusion 插件:ComfyUI_StableDiffusion

依赖的特殊模型

  • LoRA 模型(如 miluo丨云端场景丨超级视角_v1.3)需要从 Hugging Face 或其他模型仓库下载。

  • Stable Diffusion 模型(如 miluo-flux-pro_模型配置更智能_v1.0)也需要从相应的仓库下载。

工作流结构

工作流可以分为以下几个主要部分:

  1. 模型加载组

    • CheckpointLoaderSimpleLoraLoader 节点,加载 Stable Diffusion 模型和 LoRA 模型。

    • 输入:模型文件路径。

    • 输出:加载的模型和 LoRA 权重。

  2. 提示词处理组

    • CLIPTextEncode 节点,将提示词编码为条件向量。

    • 输入:文本提示词(如 miluo_yunduan, A white, puffy puffer jacket...)。

    • 输出:编码后的条件向量,用于生成图像。

  3. 图像生成组

    • KSamplerVAEDecode 节点,生成并解码图像。

    • 输入:经过 LoRA 微调的模型和条件向量。

    • 输出:最终生成的图像。

  4. 图像预览组

    • PreviewImage 节点,预览生成的图像。

    • 输入:生成的图像数据。

    • 输出:可视化的图像。

输入与输出

  • 输入

    • 提示词(如 miluo_yunduan, A white, puffy puffer jacket...)。

    • 模型文件路径(如 miluo-flux-pro_模型配置更智能_v1.0miluo丨云端场景丨超级视角_v1.3)。

  • 输出

    • 生成的图像,保存为 PNG 或 JPG 格式。

注意事项

  • 模型下载:确保所有使用的模型(如 LoRA、Stable Diffusion 等)已正确下载并放置在 ComfyUI 的模型目录中。

  • 性能需求:生成高分辨率图像可能需要较高的 GPU 显存,建议使用至少 8GB 显存的 GPU。

  • 提示词优化:提示词的质量直接影响生成图像的效果,建议使用详细的描述词。

  • 兼容性:确保使用的 ComfyUI 版本与工作流中的组件兼容。

常见问题