解锁多视角一致性:AI 模型图像生成工作流

CN
ComfyUI.org
2025-06-05 10:07:46

解锁 AI 模型图像生成的潜力,掌握这套工作流!学习如何利用 ControlNet、Flux 和 TTP Tile 技术创建多视角一致的图像。探索 Stable Diffusion XL、ControlNet 和 Florence-2 模型的强大功能。立即开始,提升你的 AI 图像生成技能!

关键节点
Controlnet
显存
中等显存(12–16GB)
阅读时间
4 分钟
查看所需模型

工作流概览

解锁 AI 模型图像生成的潜力,掌握这套工作流!学习如何利用 ControlNet、Flux 和 TTP Tile 技术创建多视角一致的图像。探索 Stable Diffusion XL、ControlNet 和 Florence-2 模型的强大功能。立即开始,提升你的 AI 图像生成技能!

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Controlnet
  • Lora
  • Sd

所需节点

  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:中等显存(12–16GB)。

1. 工作流概述

mbj7rzct97ka8rr1hwse0350968c6ad268c52ee5c2a99979b688ab14ec923ccd16036e02a15a39f84e4.jpg

作用
该工作流用于生成多视角一致的AI模特图像,通过ControlNet控制姿势、Flux模型增强细节,并支持分块生成后拼接。核心功能包括:

  • 基于输入姿势图(如骨骼图)生成4个视角(正面/侧面/背面)的连贯角色

  • 使用Flux Guidance技术保持角色一致性

  • 分块处理高分辨率图像(TTP Tile技术)

核心模型

模型名称

功能描述

Stable Diffusion XL

基础文生图模型,生成高质量图像

ControlNet (Depth)

通过深度图控制姿势和构图

Florence-2

图像描述生成模型,辅助优化提示词

Flux Guidance

增强生成图像的角色一致性和细节


2. 关键组件与安装

必需组件

  • ControlNetApplySD3:应用ControlNet约束(需安装FLUX.1-dev-Controlnet-Depth模型)

  • FluxGuidance:角色一致性增强(需安装Flux插件)

  • TTP_Tile:分块处理大图(通过ComfyUI Manager安装Tiled Diffusion插件)

  • Florence2Run:图像描述生成(需下载HuggingFace模型

特殊依赖

  • Lora模型苏-FLUX小红书极致真实_v1.0(需放置于models/loras目录)

  • ControlNet模型FLUX.1-dev-Controlnet-Depth-InstantX.safetensors


3. 工作流结构

Group 1: 输入控制

  • 节点LoadImage(上传姿势图)、easy positive(正面提示词)

  • 输入:姿势图(如骨骼图)、提示词(描述角色和视角)

  • 输出:编码后的条件向量

Group 2: 图像生成

  • 节点KSampler + ControlNetApplySD3 + FluxGuidance

  • 逻辑:根据姿势图和提示词生成潜变量,通过Flux优化一致性

Group 3: 分块处理(TTP Tile)

  • 节点TTP_Image_Tile_BatchSamplerCustomAdvancedTTP_Image_Assy

  • 功能:将高分辨率图像分块生成后无缝拼接

Group 4: 后处理与输出

  • 节点ImageCrop+(裁剪视角)、Image Overlay(合成多视角)、SaveImage

  • 输出:4张多视角图像拼接的最终结果


4. 输入与输出

输入参数

  • 必填:姿势图(如POSE2.png)、正面提示词(描述角色和视角)

  • 可选:种子值、分辨率(默认1152x896)、ControlNet强度(默认0.6)

输出结果

  • 生成一张PNG图像,包含4个视角的模特(左/正/背/右侧),保存至ComfyUI/output


5. 注意事项

  • 显存需求:建议≥12GB GPU显存(分块处理可降低压力)

  • 常见错误

    • 缺少ControlNet模型 → 下载后放入models/controlnet

    • Flux插件未安装 → 通过ComfyUI Manager搜索Flux Guidance安装

  • 优化建议

    • 降低TTP_Tile的分块大小(如512x512)以减少显存占用

    • 使用easy cleanGpuUsed节点手动清理显存

常见问题