从参考到现实:AI 驱动的角色风格迁移与提示逆向工程
通过这个工作流程解锁 AI 驱动的角色风格迁移与提示逆向工程。了解如何使用 Meta-Llama、InstantID 和 niji-Anime-SDXL 模型,保留面部特征并生成动漫风格图像。立即学习更多!
工作流概览
通过这个工作流程解锁 AI 驱动的角色风格迁移与提示逆向工程。了解如何使用 Meta-Llama、InstantID 和 niji-Anime-SDXL 模型,保留面部特征并生成动漫风格图像。立即学习更多!
内容类型: Workflow
主要用途: Download
所需模型
- Sdxl
所需节点
- Ipadapter
配置说明
- 打开工作流模板前,请先安装所需模型。
- 推荐硬件:低显存(≤8GB)。
1. 工作流概述

该工作流实现 人物风格转绘+提示词反推 功能,核心功能包括:
通过 IPAdapter 和 InstantID 保持人物面部特征
使用 Meta-Llama-3.1-8B 模型自动生成描述性提示词
结合 niji-动漫二次元-SDXL 模型生成二次元风格图像
核心模型:
niji-动漫二次元-sdxl_2.0:生成动漫风格图像unsloth/Meta-Llama-3.1-8B-Instruct:反推提示词ip-adapter_instant_id_sdxl:保持人物身份一致性
2. 组件说明
关键节点
Joy_caption_two_load
功能:加载Meta-Llama模型用于提示词反推
安装:需通过GitHub手动安装(ComfyUI-Custom-Scripts)
依赖:
unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit(需HuggingFace账号下载)
InstantIDModelLoader
功能:加载InstantID模型(人脸特征绑定)
安装:需安装 ComfyUI-InstantID
依赖:
ip-adapter_instant_id_sdxl.safetensors
IPAdapterAdvanced
功能:高级图像风格适配
安装:通过ComfyUI Manager安装 IPAdapter Plus 插件
3. 工作流结构
Group 1: 提示词反推
输入:参考图像(
LoadImage→Joy_caption_two)输出:生成的描述文本(如:"金色瞳孔的女仆...")
Group 2: 面部特征融合
输入:原始人脸图像 + InstantID参数
输出:带面部特征的潜空间数据
Group 3: 图像生成
输入:反推提示词 + 融合后的模型
输出:最终动漫风格图像
4. 输入与输出
输入:
参考风格图(768x1024 PNG)
原始人脸图(建议512x512)
负面提示词(已预置)
输出:
分辨率:768x1024 的动漫风格图像
5. 注意事项
⚠️ 必须安装的依赖:
ComfyUI-InstantID 插件
IPAdapter Plus 插件
Meta-Llama-3.1-8B 模型(需16GB显存)
💡 优化建议:
使用
VIT-G (medium strength)平衡速度与质量若显存不足,可降低分辨率至512x768