解锁动画风图像生成:多 LoRA 融合与参考图引导技术全解析
结合参考图引导、多 LoRA 模型融合,搭配Meta-Llama、Stable Diffusion,你可以生成极具个性与一致性的动画风图像。本工作流适用于角色设定、同人创作与虚拟形象定制。
- 显存
- 中等显存(12–16GB)
- 阅读时间
- 4 分钟
工作流概览
结合参考图引导、多 LoRA 模型融合,搭配Meta-Llama、Stable Diffusion,你可以生成极具个性与一致性的动画风图像。本工作流适用于角色设定、同人创作与虚拟形象定制。
内容类型: Workflow
主要用途: Download
所需模型
- Flux
- Lora
- Sd
配置说明
- 打开工作流模板前,请先安装所需模型。
- 推荐硬件:中等显存(12–16GB)。
1. 工作流概述

功能:实现基于参考图的动漫风格图像生成,结合LoRA模型增强细节(如暗黑/唯美风格)。
核心技术:
图像反推提示词:通过
Joy_caption_two节点解析输入图的视觉特征。多LoRA混合控制:叠加3种不同风格的LoRA模型(暗黑/唯美/古风)。
双语支持:自动生成中英文提示词(
LibLibTranslate节点)。
2. 核心模型
模型名称 | 功能说明 |
|---|---|
Meta-Llama-3.1-8B | 图像反推模型,生成描述性提示词(节点 |
Stable Diffusion Flux | 基础生成模型( |
LoRA模型组 |
|
3. 关键组件
3.1 图像输入与反推
LoadImage:加载参考图(如
00059-4156590861.jpg)。Joy_caption_two:
功能:调用Meta-Llama模型生成图像描述(输出英文提示词)。
安装:需通过ComfyUI Manager安装
comfyui_slk_joy_caption_two插件。
3.2 提示词处理
JoinStrings:合并用户输入的关键词(如
miluo_cjsj, cloth)与反推提示词。LibLibTranslate:将英文提示词翻译为中文(可选)。
3.3 多LoRA混合
LoraLoaderModelOnly:
链式加载:3个LoRA依次叠加,强度通过
ReroutePrimitive统一控制为0.7。模型来源:需手动放置
.safetensors文件到models/loras目录。
3.4 生成与输出
KSampler:
参数:Euler采样器,20步,CFG=3.5,种子随机。
VAEDecode:使用
ae.sftVAE模型解码潜在图像。
4. 工作流结构
Group名称 | 关键节点 | 输入/输出说明 |
|---|---|---|
全局控制 |
| 输入:参考图、分辨率(1200x1200)、关键词。 |
LoRA模型 | 3个 | 输出:叠加后的模型,强度0.7。 |
生成输出 |
| 输出:最终图像(预览节点 |
5. 输入与输出
输入参数:
参考图(JPEG/PNG格式)。
分辨率:通过
EmptyLatentImage设置(默认1200x1200)。关键词:如
miluo_cjsj, cloth(影响风格优先级)。
输出结果:
生成图像(动漫赛博朋克风格,红发女性角色)。
6. 注意事项
显存需求:建议12GB+显存(多LoRA叠加较耗资源)。
模型依赖:
需提前下载
Meta-Llama-3.1-8B和3个LoRA模型。VAE模型
ae.sft需放置到models/vae目录。
错误处理:
若反推失败,检查
Joy_caption_two节点是否加载正确的模型路径。图像模糊时调整
KSampler的CFG值(当前3.5)。