解锁产品背景无缝融合效果工作流

CN
ComfyUI.org
2025-04-25 09:06:43

通过我们的专业工作流,解锁产品与背景的无缝融合效果!了解如何结合 SAM、GroundingDINO 与 BrushNet,实现精确分割与惊艳视觉表现。深入学习,全面提升你的设计水平!

模型
Sdxl
Sd
显存
低显存(≤8GB)
阅读时间
4 分钟
查看所需模型

工作流概览

通过我们的专业工作流,解锁产品与背景的无缝融合效果!了解如何结合 SAM、GroundingDINO 与 BrushNet,实现精确分割与惊艳视觉表现。深入学习,全面提升你的设计水平!

内容类型: Workflow

主要用途: Download

所需模型

  • Sdxl
  • Sd

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

m9wkiq5wzsrrmkp0srrfecaff05a01e2c5073d87dc5be633b38bced60836044870c3ffb9274f540d542.jpg

功能
该工作流专为产品与背景融合设计,实现以下功能:

  • 通过Segment Anything (SAM)和GroundingDINO精准抠取产品主体(如香水瓶)

  • 使用BrushNet控制生成内容与背景(如森林、花朵)的自然融合

  • 支持分辨率调整、提示词优化和遮罩反转

核心模型

  • Stable Diffusion XL (SDXL):基础生成模型(LEOSAM HelloWorld大模型)

  • BrushNet:基于笔刷的局部控制模型,确保产品与背景风格一致

  • Segment Anything Model (SAM):自动分割产品主体

  • GroundingDINO:通过文本提示(如"bottle")辅助SAM定位目标


2. 组件说明

关键节点

  • BrushNetLoader:加载BrushNet模型(segmentation_mask_brushnet_ckpt_sdxl_v1.safetensors

  • GroundingDinoSAMSegment:联合SAM与GroundingDINO生成产品遮罩

  • InvertMask:反转遮罩以保护产品区域,仅修改背景

  • WD14Tagger:自动分析背景图标签(如"flower, sunlight")生成提示词

安装方式

  • BrushNet:通过GitHub手动安装(需下载.safetensors文件)

  • SAM/GroundingDINO:通过ComfyUI Manager安装Impact PackSegment Anything插件

  • WD14Tagger:从comfyui-wd14-tagger插件安装

特殊依赖

  • BrushNet模型文件需放置于ComfyUI/models/brushnet

  • SAM模型(sam_vit_h_4b8939.pth)需下载至ComfyUI/models/sam


3. 工作流结构

分组逻辑

  1. 抠图组

    • 输入:产品图(如香水瓶)、文本提示("bottle")

    • 输出:产品遮罩(白色区域为保护部分)

    • 关键节点:LoadImageImageScaleGroundingDinoSAMSegment

  2. 背景组

    • 输入:背景图(如森林)、WD14Tagger生成的标签

    • 输出:背景描述提示词(如"sunshine, flowers")

    • 关键节点:LoadImageWD14TaggerCLIPTextEncode

  3. BrushNet融合组

    • 输入:产品遮罩、背景提示词、BrushNet模型

    • 输出:融合后的图像(产品+背景)

    • 关键节点:BrushNetKSamplerVAEDecode


4. 输入与输出

输入参数

  • 必填项

    • 产品图(PNG/JPG)

    • 背景图(PNG/JPG)

    • 产品提示词(如"bottle")

  • 可选项

    • 遮罩阈值(默认0.32)

    • 采样步数(默认25)

输出结果

  • 格式:PNG图像

  • 内容:产品与背景自然融合的图片(如香水瓶置于森林中)


5. 注意事项

⚠️ 常见问题

  • 显存不足:降低分辨率至768x1024以下或使用--medvram

  • 遮罩不准确:调整GroundingDINO的阈值(0.2~0.5)

  • BrushNet报错:确认模型文件为float16格式

💡 优化建议

  • 使用高清背景图(≥1024px)避免生成模糊

  • KSampler中尝试dpmpp_2s_ancestral采样器提升细节

常见问题