释放 AI 驱动的明星迁移技术，实现逼真的产品植入效果
使用“明星迁移”工作流程自动完成产品与模特的匹配，该流程结合了 Stable Diffusion、Florence-2 和 SAM2，实现逼真的效果。探索如何通过这一 AI 驱动的工作流程，简化产品可视化过程。
- 阅读时间
- 3 分钟
工作流概览
使用“明星迁移”工作流程自动完成产品与模特的匹配，该流程结合了 Stable Diffusion、Florence-2 和 SAM2，实现逼真的效果。探索如何通过这一 AI 驱动的工作流程，简化产品可视化过程。
内容类型: Workflow
主要用途: Download
所需模型
- Controlnet
- Sd
所需节点
- Controlnet
- Inpaint
配置说明
- 打开工作流模板前，请先安装所需模型。
1. 工作流概述
这个工作流名为 “星汇万物迁移”，主要用于将产品（如服装、配饰等）智能贴合到模特身上，同时保持模特的姿态和背景不变。工作流结合了 Stable Diffusion、Florence-2（视觉理解模型）、SAM2（分割模型）和 ControlNet 等技术，实现以下功能：
产品平铺贴合：自动调整产品形状以适应模特姿势（如穿戴或手持）。
智能抠图：移除背景或人台，保留产品细节。
高清修复：可选的高分辨率放大（如使用 UltimateSDUpscale）。
核心模型：
Stable Diffusion Checkpoint：
majicMIX realistic 麦橘写实_v7（写实风格人像生成）。Florence-2-large：理解产品图像内容并生成描述。
SAM2 (Segment Anything Model)：精准分割产品或模特区域。
ControlNet & FluxGuidance：控制生成图像的细节和结构。
2. 组件说明
关键节点（Nodes）：
产品输入与预处理：
LoadImage（节点323/145）：加载产品和模特图像。
ImageResize+（节点214/461/462）：统一分辨率（如1600x1600）。
BiRefNetUltra（节点434）：高级抠图（移除背景/人台）。
视觉理解与分割：
Florence2ModelLoader（节点304）：加载Florence-2模型。
Florence2Run（节点310）：分析产品图像并生成描述。
Sam2Segmentation（节点314）：基于SAM2分割产品区域。
图像生成与修复：
KSampler（节点238）：使用
Euler采样器生成图像（Steps=20, CFG=8）。InpaintStitch（节点240）：将生成的产品无缝贴合到模特图上。
UltimateSDUpscale（节点414）：高清放大（可选）。
后处理与输出：
VAEDecode（节点239）：解码潜在图像为最终结果。
SaveImage（节点270/346/347）：保存生成图像。
特殊依赖：
Florence-2 模型：需从Hugging Face下载
Florence-2-large并放入models/florence2。SAM2 模型：需下载
sam2.1_hiera_large.safetensors到models/sam2。插件安装：
ComfyUI-Florence2：通过
ComfyUI Manager安装。ComfyUI-Inpaint-CropAndStitch：用于无缝贴合。
3. 工作流结构
分组（Groups）逻辑：
【01星汇工作流】产品FLUX平铺上身V3.1
输入：产品图、模特图、提示词（如“瓶子”）。
输出：贴合后的图像。
抠图与分割：
使用 BiRefNetUltra 或 SAM2 分离产品与背景。
高清放大（可选）：
通过 UltimateSDUpscale 提升分辨率（如2倍）。
4. 输入与输出
输入参数：
必填：
产品图（需透明背景或通过抠图处理）。
模特图（支持带背景的原始照片）。
提示词（如“best,4K”控制生成质量）。
可选：
种子值（Seed）、分辨率、采样器参数。
输出结果：
最终图像（PNG格式），产品自然贴合模特。
5. 注意事项
常见问题：
显存不足：降低分辨率或关闭高清放大。
模型缺失：确保Florence-2和SAM2模型已正确放置。
抠图不精准：调整 BiRefNetUltra 的阈值参数。
优化建议：
使用 FP16模式 加速Florence-2和SAM2（需支持GPU）。
对复杂产品（如透明材质），增加 KSampler 的步骤数（Steps=30+）。