ControlNet 精通:通过自动提示和 FP8 优化实现高效的图像编辑

CN
ComfyUI.org
2025-06-13 09:26:56

轻松解锁图像控制:探索多控制网络 (Multi-ControlNet) 模板,该模板具有动态切换、自动提示和针对消费级 GPU 的 FP8 优化功能。学习如何使用 Flux-dev-FP8、ControlNet-v3 和 Depth-Anything-V2 掌握图像生成。立即开始!

关键节点
Controlnet
显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型

工作流概览

轻松解锁图像控制:探索多控制网络 (Multi-ControlNet) 模板,该模板具有动态切换、自动提示和针对消费级 GPU 的 FP8 优化功能。学习如何使用 Flux-dev-FP8、ControlNet-v3 和 Depth-Anything-V2 掌握图像生成。立即开始!

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Controlnet

所需节点

  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

mbultisifeg60760n7Flux.1 FLUX cn懒人版@2x.png

该工作流是专为多ControlNet控制设计的懒人模板,通过Flux模型家族三种预处理器(HED软边缘/深度图/Canny线稿)实现精准图像生成,特点包括:

  • 一键切换ControlNet类型:通过ImpactSwitch节点动态选择HED/Depth/Canny控制方式。

  • 自动提示词反推:集成JoyCaption模型,根据输入图像生成描述文本。

  • FP8优化:使用flux_dev.safetensors等低显存模型,适配消费级GPU。

核心模型

  • Flux-dev-FP8:基础生成模型(FP8量化版,显存占用降低30%)。

  • ControlNet-v3系列:包括hed/depth/canny三种控制模型。

  • Depth-Anything-V2:深度图生成模型(需单独下载)。


2. 关键组件说明

ControlNet相关节点

  1. LoadFluxControlNet

    • 功能:加载HED/Depth/Canny三种ControlNet模型。

    • 模型路径:models/controlnet/flux-*-controlnet-v3.safetensors

  2. ApplyFluxControlNet

    • 功能:应用ControlNet到生成流程,权重可调(HED:0.4, Depth:0.8, Canny:0.3)。

预处理节点

  • HEDPreprocessor:生成软边缘图(适合保留物体形状)。

  • DepthAnything_V2:生成深度图(需安装ComfyUI-Depth-Anything插件)。

  • CannyEdgePreprocessor:提取线稿(适合细节控制)。

自定义组件

  1. JoyCaption(需安装)

    • 功能:基于Llama-3模型反推图像提示词。

    • 安装:通过ComfyUI Manager搜索ComfyUI-JoyCaption

  2. ImpactSwitch

    • 功能:动态切换不同ControlNet输入(需勾选启用多路输入)。


3. 工作流结构

分组

功能

关键节点

HED 软边缘

生成保留物体形状的软边缘控制图

LoadFluxControlNet → HEDPreprocessor

Depth 深度

生成深度图控制空间层次

DepthAnything_V2 → ApplyFluxControlNet

Canny 线稿

提取清晰边缘线稿

CannyEdgePreprocessor → ApplyFluxControlNet

反推词

自动生成图像描述文本

JoyCaption → CLIPTextEncode

采样与输出

生成最终图像并保存

XlabsSampler → VAEDecode → SaveImage


4. 输入与输出

输入参数

  • 必填:通过LoadImage上传图片(如示例中的.webp文件)。

  • 可选

    • 分辨率(默认1024x1024,在EmptyLatentImage修改)。

    • ControlNet权重(在ApplyFluxControlNet调整)。

输出结果

  • 生成图像保存至ComfyUI/output/

  • 实时预览所有中间结果(HED/Depth/Canny处理图)。


5. 注意事项

  1. 模型依赖

    • 必须下载depth_anything_v2_vitl_fp32.safetensors并放置于models/depth_anything

    • Flux系列模型需从官方渠道获取(示例中使用flux-dev-fp8)。

  2. 显存需求

    • 建议8GB+显存,低配GPU可关闭部分ControlNet分支。

  3. 常见问题

    • 反推词不准确:在JoyCaption节点切换Descriptive/Long模式。

    • 控制失效:检查ImpactSwitch的选中状态(HED=1, Depth=2, Canny=3)。

常见问题