解锁动画风图像生成:多 LoRA 融合与参考图引导技术全解析

CN
ComfyUI.org
2025-05-27 04:52:23

结合参考图引导、多 LoRA 模型融合,搭配Meta-Llama、Stable Diffusion,你可以生成极具个性与一致性的动画风图像。本工作流适用于角色设定、同人创作与虚拟形象定制。

显存
中等显存(12–16GB)
阅读时间
4 分钟
查看所需模型

工作流概览

结合参考图引导、多 LoRA 模型融合,搭配Meta-Llama、Stable Diffusion,你可以生成极具个性与一致性的动画风图像。本工作流适用于角色设定、同人创作与虚拟形象定制。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux
  • Lora
  • Sd

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:中等显存(12–16GB)。

1. 工作流概述

mbko62m5z493ob6b9e图片压缩28+.png
  • 功能:实现基于参考图的动漫风格图像生成,结合LoRA模型增强细节(如暗黑/唯美风格)。

  • 核心技术

    • 图像反推提示词:通过Joy_caption_two节点解析输入图的视觉特征。

    • 多LoRA混合控制:叠加3种不同风格的LoRA模型(暗黑/唯美/古风)。

    • 双语支持:自动生成中英文提示词(LibLibTranslate节点)。


2. 核心模型

模型名称

功能说明

Meta-Llama-3.1-8B

图像反推模型,生成描述性提示词(节点Joy_caption_two_load加载)。

Stable Diffusion Flux

基础生成模型(UNETLoader加载的F.1-fp8 11G版_flux1-dev)。

LoRA模型组

暗黑血统:狂战士_1.0 + F.1色孽CG唯美_V1 + F.1超清唯美风-古风篇_v1.0,强度均为0.7。


3. 关键组件

3.1 图像输入与反推

  • LoadImage:加载参考图(如00059-4156590861.jpg)。

  • Joy_caption_two

    • 功能:调用Meta-Llama模型生成图像描述(输出英文提示词)。

    • 安装:需通过ComfyUI Manager安装comfyui_slk_joy_caption_two插件。

3.2 提示词处理

  • JoinStrings:合并用户输入的关键词(如miluo_cjsj, cloth)与反推提示词。

  • LibLibTranslate:将英文提示词翻译为中文(可选)。

3.3 多LoRA混合

  • LoraLoaderModelOnly

    • 链式加载:3个LoRA依次叠加,强度通过ReroutePrimitive统一控制为0.7。

    • 模型来源:需手动放置.safetensors文件到models/loras目录。

3.4 生成与输出

  • KSampler

    • 参数:Euler采样器,20步,CFG=3.5,种子随机。

  • VAEDecode:使用ae.sft VAE模型解码潜在图像。


4. 工作流结构

Group名称

关键节点

输入/输出说明

全局控制

LoadImage, PrimitiveNode

输入:参考图、分辨率(1200x1200)、关键词。

LoRA模型

3个LoraLoaderModelOnly

输出:叠加后的模型,强度0.7。

生成输出

KSamplerVAEDecode

输出:最终图像(预览节点PreviewImage)。


5. 输入与输出

  • 输入参数

    • 参考图(JPEG/PNG格式)。

    • 分辨率:通过EmptyLatentImage设置(默认1200x1200)。

    • 关键词:如miluo_cjsj, cloth(影响风格优先级)。

  • 输出结果

    • 生成图像(动漫赛博朋克风格,红发女性角色)。


6. 注意事项

  1. 显存需求:建议12GB+显存(多LoRA叠加较耗资源)。

  2. 模型依赖

    • 需提前下载Meta-Llama-3.1-8B和3个LoRA模型。

    • VAE模型ae.sft需放置到models/vae目录。

  3. 错误处理

    • 若反推失败,检查Joy_caption_two节点是否加载正确的模型路径。

    • 图像模糊时调整KSampler的CFG值(当前3.5)。

常见问题