突破画框:FLUX 模型图像扩展的逐步工作流程

CN
ComfyUI.org
2025-03-14 18:10:04

通过 FLUX 模型扩展,释放图像的无限潜力。利用 Stable Diffusion 技术和 AI 驱动工具,扩展图像边界、填充缺失部分并提升画质。在本工作流程指南中,学习如何实现这些操作。

模型
Flux
Sd
难度
入门友好
阅读时间
4 分钟
查看所需模型

工作流概览

通过 FLUX 模型扩展,释放图像的无限潜力。利用 Stable Diffusion 技术和 AI 驱动工具,扩展图像边界、填充缺失部分并提升画质。在本工作流程指南中,学习如何实现这些操作。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Sd

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 预期技能水平:入门友好。

工作流概述

m88mf9wuji341r2r1zflux_fill_outpaint_example_input.png

该工作流的主要目标是 基于 FLUX 模型进行图像扩图(Outpainting)。它使用 Stable Diffusion 相关技术,结合 FluxGuidance 进行图像扩展,同时使用 InpaintModelConditioning 进行面部/内容修复,最终通过 VAEDecode 生成高质量图像,并保存到本地。

适用于:

  • 扩展图像边界,生成更大尺寸的图像

  • 修复缺失的图像区域,填补画面内容

  • 增强图像质量,结合 UNET 和 Flux 模型优化效果


核心模型

  1. FLUX 扩图模型(flux1-dev-fp8.safetensors)

    • 主要用于 图像扩展(Outpainting),确保扩展部分与原图风格匹配。

  2. Stable Diffusion VAE(ae.safetensors)

    • 负责 图像的潜空间(Latent Space)编码和解码,确保生成图像符合视觉质量标准。

  3. Dual CLIP(clip_l.safetensors, t5xxl_fp16.safetensors)

    • 负责 文本提示词(Prompt)编码,将用户的描述转换为潜在图像特征。

  4. UNET(flux1-dev-fp8.safetensors)

    • 负责 扩散过程(Diffusion Process),用于生成图像。


关键组件(Nodes)

  1. LoadImage(加载图像)

    • 读取原始图片,例如 sd3.5_large_canny_controlnet_example.png 作为初始输入。

  2. ImagePadForOutpaint(扩展图像)

    • 通过 扩展画布(例如左右各增加 400px),为 Outpainting 预留空间。

  3. FluxGuidance(FLUX 引导)

    • 负责控制生成内容,使扩图部分符合逻辑,并与原图风格一致。

  4. InpaintModelConditioning(修复遮罩区域)

    • 负责处理 扩展区域的细节,确保填补部分自然衔接原图。

  5. KSampler(扩散采样器)

    • 进行扩散采样(20 次迭代),用于最终图像生成。

  6. VAEDecode(解码图像)

    • 将潜空间(Latent)转换为 真实图像,恢复可视化细节。

  7. SaveImage(保存图像)

    • 将最终生成的扩图保存到本地。


工作流结构

该工作流可分为 四个主要阶段

1. 输入与预处理

  • LoadImage 读取原始图像。

  • ImagePadForOutpaint 扩展图像边界,创建填补区域。

  • CLIPTextEncode 解析文本提示词,为扩图提供参考。

2. 计算扩图特征

  • FluxGuidance 处理图像扩展内容,使扩展区域符合图像逻辑。

  • InpaintModelConditioning 计算扩展区域的遮罩,并进行条件优化。

3. 生成扩展内容

  • KSampler 进行扩散采样,生成新的图像部分。

  • VAEDecode 负责解码,使图像恢复到真实像素级数据。

4. 输出

  • SaveImage 存储最终生成的扩图。


输入与输出

输入参数

  • 原始图片

  • 扩展尺寸参数(默认左右各扩展 400px)

  • 文本提示词(Prompt)

  • FLUX 模型

  • VAE 模型

输出

  • 扩展后的完整图像

  • 填补的高质量内容

  • 最终存储的图片文件


注意事项

  1. 性能要求

    • 由于涉及 FLUX 模型和扩散过程,建议 使用 RTX 3090 及以上显卡 以获得较快的生成速度。

  2. 错误排查

    • 若扩展部分不自然,请调整 FluxGuidance 强度,或修改 Prompt 提示词。

    • 若扩展区域模糊,可提高 KSampler 迭代次数(Steps) 来增强细节。

  3. 兼容性

    • 适用于 ComfyUI 0.4+ 版本,部分节点可能需要 ComfyUI-Manager 安装。

常见问题