从参考到现实:AI 驱动的角色风格迁移与提示逆向工程

CN
ComfyUI.org
2025-04-16 14:46:59

通过这个工作流程解锁 AI 驱动的角色风格迁移与提示逆向工程。了解如何使用 Meta-Llama、InstantID 和 niji-Anime-SDXL 模型,保留面部特征并生成动漫风格图像。立即学习更多!

模型
Sdxl
关键节点
Ipadapter
显存
低显存(≤8GB)
阅读时间
3 分钟
查看所需模型

工作流概览

通过这个工作流程解锁 AI 驱动的角色风格迁移与提示逆向工程。了解如何使用 Meta-Llama、InstantID 和 niji-Anime-SDXL 模型,保留面部特征并生成动漫风格图像。立即学习更多!

内容类型: Workflow

主要用途: Download

所需模型

  • Sdxl

所需节点

  • Ipadapter

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:低显存(≤8GB)。

1. 工作流概述

m9k1unfbwowexy6r4njefe64a03d3fcce1900f683ee54a4462c92a36b8d8eac2b20441f59059c1fbc0f.jpg

该工作流实现 人物风格转绘+提示词反推 功能,核心功能包括:

  1. 通过 IPAdapterInstantID 保持人物面部特征

  2. 使用 Meta-Llama-3.1-8B 模型自动生成描述性提示词

  3. 结合 niji-动漫二次元-SDXL 模型生成二次元风格图像

核心模型

  • niji-动漫二次元-sdxl_2.0:生成动漫风格图像

  • unsloth/Meta-Llama-3.1-8B-Instruct:反推提示词

  • ip-adapter_instant_id_sdxl:保持人物身份一致性

2. 组件说明

关键节点

  1. Joy_caption_two_load

    • 功能:加载Meta-Llama模型用于提示词反推

    • 安装:需通过GitHub手动安装(ComfyUI-Custom-Scripts

    • 依赖:unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit(需HuggingFace账号下载)

  2. InstantIDModelLoader

    • 功能:加载InstantID模型(人脸特征绑定)

    • 安装:需安装 ComfyUI-InstantID

    • 依赖:ip-adapter_instant_id_sdxl.safetensors

  3. IPAdapterAdvanced

    • 功能:高级图像风格适配

    • 安装:通过ComfyUI Manager安装 IPAdapter Plus 插件

3. 工作流结构

  • Group 1: 提示词反推

    • 输入:参考图像(LoadImageJoy_caption_two

    • 输出:生成的描述文本(如:"金色瞳孔的女仆...")

  • Group 2: 面部特征融合

    • 输入:原始人脸图像 + InstantID参数

    • 输出:带面部特征的潜空间数据

  • Group 3: 图像生成

    • 输入:反推提示词 + 融合后的模型

    • 输出:最终动漫风格图像

4. 输入与输出

  • 输入

    1. 参考风格图(768x1024 PNG)

    2. 原始人脸图(建议512x512)

    3. 负面提示词(已预置)

  • 输出

    • 分辨率:768x1024 的动漫风格图像

5. 注意事项

⚠️ 必须安装的依赖

  1. ComfyUI-InstantID 插件

  2. IPAdapter Plus 插件

  3. Meta-Llama-3.1-8B 模型(需16GB显存)

💡 优化建议

  • 使用 VIT-G (medium strength) 平衡速度与质量

  • 若显存不足,可降低分辨率至512x768

常见问题