AI 动漫人像生成工作流:将真人照片转化为二次元杰作

CN
ComfyUI.org
2025-05-20 15:25:51

使用 Microsoft Florence-2 和 Stable Diffusion XL,将人像转化为惊艳的动漫风插画。通过我们的分步指南,轻松获得高质量效果。

显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型

工作流概览

使用 Microsoft Florence-2 和 Stable Diffusion XL,将人像转化为惊艳的动漫风插画。通过我们的分步指南,轻松获得高质量效果。

内容类型: Workflow

主要用途: Download

所需模型

  • Sdxl
  • Controlnet
  • Lora
  • Sd

所需节点

  • FaceDetailer
  • Controlnet

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

mawo3z6rhfxe18nsnfh09e6e6b4f2c24a44f3ae89870570db2ebb7b989ab09241f1ce87905162a5b1ad.jpg

该工作流用于将真实人像照片转换为手绘风格图像,结合了微软Florence-2视觉模型的语义理解和Stable Diffusion XL的生成能力,最终输出具有动漫/插画风格的高质量图像。

2. 核心模型

  • Florence-2-base:微软多模态模型,用于分析输入图像的语义内容

  • GhostbustersXL mix_1:主生成模型,基于SDXL的混合模型

  • sdxl-niji style_v1.0:LORA模型,添加日系动漫风格

  • xinsir_controlnet_tile_sdxl_1.0:控制生成图像的细节结构

3. 关键组件

组件名称

功能说明

安装方式

Florence2Run

运行Florence-2模型分析图像内容

需手动安装Florence-2插件

FaceDetailer

人脸细节增强

通过ComfyUI Manager安装Impact Pack

ControlNetApplyAdvanced

高级ControlNet应用

内置

BNK_CLIPTextEncodeAdvanced

带权重的CLIP文本编码

需安装adv-encode插件

4. 工作流结构

Group 1: 图像预处理

  • 输入:原始人像照片(1129x2000)

  • 节点:LoadImage → ImageResize+(缩放到1800高度)

  • 输出:调整后的图像

Group 2: 语义分析

  • 输入:调整后的图像

  • 节点:Florence2Run(生成详细描述词)

  • 输出:图像描述文本"1girl, solo, long hair..."

Group 3: 风格化生成

  • 流程:文本编码 → ControlNet约束 → KSampler生成 → VAEDecode

  • 关键参数:30步采样,dpmpp_2m调度器,CFG=7

Group 4: 人脸精修

  • 使用FaceDetailer节点:

    • 检测模型:bbox/face_yolov8m

    • 局部重绘参数:512x512区域,26步重绘

5. 输入输出

  • 输入要求

    • 图像:建议半身人像(分辨率>1024px)

    • 提示词:需包含"masterpiece,highquality"等质量标签

  • 输出结果

    • 最终图像:PNG格式,保留元数据

    • 分辨率:根据输入比例自动调整

6. 注意事项

  1. 必须额外安装:

    • Florence-2插件(GitHub手动安装)

    • Impact Pack(包含FaceDetailer)

  2. 显存需求:建议16GB+显存(处理1800px图像时)

  3. 常见错误:

    • 缺少Florence-2模型文件时需手动下载microsoft/Florence-2-base

    • ControlNet模型需放置到/models/controlnet

常见问题