从写真到杰作:专业 AI 肖像工作流程

CN
ComfyUI.org
2025-04-17 10:40:33

解锁专业 AI 肖像摄影,通过我们的工作流程整合面部分割、多重控制、风格迁移和局部优化。轻松获取高分辨率肖像。立即学习如何操作 →

使用场景
Portrait
适用场景
Portrait
显存
低显存(≤8GB)
阅读时间
2 分钟
查看所需模型更多 Portrait 工作流

工作流概览

解锁专业 AI 肖像摄影,通过我们的工作流程整合面部分割、多重控制、风格迁移和局部优化。轻松获取高分辨率肖像。立即学习如何操作 →

内容类型: Workflow

主要用途: Download

所需模型

  • Controlnet

所需节点

  • Ipadapter
  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

m9l8cotojavqu97jdlq854da20564a69dcfc6fcf6751778243038ab433d6d5d2f2f1cf929c096e65f6d.jpg
  • 作用与目的
    这是一个专为 AI 写真设计 的复杂工作流,结合了 图像分割、ControlNet 控制、IPAdapter 风格迁移低幅度重绘 技术,主要功能包括:

    • 人脸识别与分割(使用 Florence2SAM2 模型)。

    • 多 ControlNet 控制(姿态、深度、边缘检测)。

    • IPAdapter 风格迁移(参考图像风格融合)。

    • 局部重绘优化(针对五官、背景等细节)。
      适用于专业级人像写真生成与后期处理。

  • 核心模型

    • 基础模型SDXL/LEOSAM HelloWorld _ SDXL_v7.0.safetensors(写实风格基底)。

    • ControlNetxinsir_union_promax.safetensors(姿态/深度控制)。

    • IPAdapterPLUS (high strength) 风格适配器。

    • 分割模型Florence-2-large(人脸识别)+ sam2_hiera_base_plus.safetensors(精细分割)。

2. 组件说明

  • 关键节点

    • Florence2Run:识别输入图像中的人脸,输出分割遮罩和 BBox 坐标。

    • Sam2Segmentation:基于 SAM2 模型精细化分割(如发丝、服饰边缘)。

    • ControlNetApplySD3:双路控制(姿态 + 深度),权重分别为 0.61.0

    • IPAdapterAdvanced:以参考图像(如 商用素材|未来世界_1.jpg)为风格模板,强度 0.7

    • GrowMaskWithBlur:扩展遮罩边缘并模糊,用于自然融合。

  • 特殊组件安装

    • Florence2 & SAM2:需下载模型并放入 models/florence2models/sam2 文件夹。

    • IPAdapter:安装 IPAdapterPlus 插件,模型需为 ip-adapter-plus_sdxl_vit-h.safetensors

    • ControlNet 模型xinsir_union_promax.safetensors 需放入 models/controlnet

3. 工作流结构

分为 6 个核心功能组:

  1. 面部识别组

    • 输入:原始人像 → Florence2Run → 输出人脸 BBox 和遮罩。

  2. 抠图组

    • Sam2Segmentation 精细化分割 → GrowMaskWithBlur 边缘优化。

  3. ControlNet 控制组

    • 双路控制:Canny 边缘(AIO_Preprocessor) + 深度图(xinsir_union_promax)。

  4. IPAdapter 风格迁移组

    • 加载风格参考图 → 通过 IPAdapterAdvanced 融合至生成过程。

  5. 生图区

    • KSampler 使用 dpmpp_sde 采样器(20 步,CFG=2)生成图像。

  6. 后期处理组

    • 低幅度重绘(VAEEncode + KSampler)→ 最终输出与原始图像对比(Image Comparer)。

4. 输入与输出

  • 输入参数

    • 必填:原始人像图片(如 赛博朋克女孩.jpg)、风格参考图。

    • 可选:ControlNet 权重、IPAdapter 强度、重绘幅度(默认 0.1)。

  • 输出结果

    • 高清写真图像(PNG),支持与原图对比查看差异。

5. 注意事项

  • 显存需求:建议 ≥16GB GPU(因同时运行多 ControlNet 和 IPAdapter)。

  • 常见错误

    • 遮罩未正确生成:检查 Florence2SAM2 模型路径。

    • 风格迁移失效:确认 IPAdapter 模型与插件版本匹配。

  • 优化建议

    • 降低 KSampler 步数(如 15 步)以加速生成。

    • 使用 FP16 量化模型减少显存占用。

常见问题