FLUX ControlNet:打造无版权图像的终极利器

CN
ComfyUI.org
2025-04-16 10:33:54

探索由 FLUX ControlNet 驱动的 AI 图像再生成技术。了解如何在保留构图与结构的同时创造全新的视觉效果,并深入解析这一创新工作流程背后的核心模型与关键组件。

关键节点
Controlnet
显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型

工作流概览

探索由 FLUX ControlNet 驱动的 AI 图像再生成技术。了解如何在保留构图与结构的同时创造全新的视觉效果,并深入解析这一创新工作流程背后的核心模型与关键组件。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Controlnet

所需节点

  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

工作流概述

m9jsnxl7qnkgfcimxa6702f077ed20a8208d0b52db9b882b8b8e12fc43f5719499822845d4bcfa345f.jpg

这是一个使用FLUX ControlNet进行图像重绘的工作流,主要目的是通过AI技术对原始图像进行风格和内容的重新生成,避免版权问题。工作流能够保留原图的构图和结构,同时生成全新的视觉效果。

核心模型

  1. 基础算法_F.1模型:主模型"基础算法_F.1",负责图像生成

  2. FLUX ControlNet模型:"FLUX.1-dev-ControlNet-Union-Pro-InstantX.safetensors",控制图像结构

  3. T5XXL文本编码器:"t5xxl_fp8_e4m3fn",处理文本提示

  4. Meta-Llama-3.1-8B:图像描述生成模型"unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit"

关键组件说明

  1. ControlNetApplyAdvanced:高级ControlNet应用节点

    • 强度0.3,开始步数0,结束步数0.6

    • 使用depth控制类型

  2. Joy_caption_two:自动图像描述生成

    • 使用Meta-Llama模型生成详细描述

    • 输出格式为"Descriptive"和"long"

  3. FluxGuidance:FLUX引导节点

    • 引导强度3.5

    • 优化生成质量

  4. ImageScaleByAspectRatio V2:图像比例调整

    • 使用lanczos算法

    • 保持原始比例

  5. Image Comparer:图像比较工具

    • 并排显示原始图像和生成图像

    • 支持滑动对比

工作流结构

  1. 模型加载组

    • 加载UNET、ControlNet、CLIP和VAE模型

    • 设置模型精度为fp8_e4m3fn

  2. 输入处理组

    • 加载输入图像(如"image (8).png")

    • 调整图像尺寸(824×1024)

  3. 描述生成组

    • 自动生成图像描述

    • 包含中英文翻译功能

  4. ControlNet应用组

    • 应用FLUX ControlNet

    • 设置控制参数

  5. 生成输出组

    • 使用KSampler生成图像(25步,euler采样器)

    • 解码并输出最终图像

输入与输出

输入参数

  • 原始图像(建议1400×933)

  • 自动生成的描述文本

  • 随机种子(140685274328837)

输出结果

  • 重绘后的图像

  • 原始与生成图像的对比视图

注意事项

  1. 需要至少8GB显存

  2. 包含显存清理节点(PurgeVRAM)

  3. 可调整ControlNet强度(0.3-0.6)

  4. 建议使用描述性强的原始图像

  5. 生成分辨率会自动适配输入图像比例

常见问题