从照片到艺术杰作：结合 ControlNet 与 LoRA 的风格化图像生成工作流程
用 ControlNet 与 LoRA 轻松实现照片风格化！在保留原始结构的同时，自由切换民族风、秋日风等多种艺术风格。
- 关键节点
- Controlnet
- 显存
- 低显存（≤8GB）
- 阅读时间
- 3 分钟
工作流概览
用 ControlNet 与 LoRA 轻松实现照片风格化！在保留原始结构的同时，自由切换民族风、秋日风等多种艺术风格。
内容类型: Workflow
主要用途: Download
所需模型
- Flux
- Sdxl
- Controlnet
- Lora
所需节点
- Controlnet
配置说明
- 打开工作流模板前，请先安装所需模型。
- 推荐硬件：低显存（≤8GB）。
1. 工作流概述
作用：基于输入图像（如模特照片）生成风格化图像，通过ControlNet控制姿势/结构，结合LoRA调整服饰和风格（如少数民族服饰、秋日森林主题）。
核心模型：
基础算法_F.1：基础文生图模型（可能为SDXL变体）。FLUX.1-dev-ControlNet-Union-Pro-InstantX：多功能ControlNet模型，用于保持原始图像构图。Meta-Llama-3.1-8B-bnb-4bit：图像描述生成模型（反推提示词）。
2. 关键组件说明
组件名称 | 功能描述 | 安装方式 | 依赖项 |
|---|---|---|---|
| 加载ControlNet模型。 | 需手动放置模型文件到 |
|
| 加载风格化LoRA（少数民族服饰/秋日森林）。 | 需将LoRA文件放入 |
|
| 通过Llama-3模型反推图像描述。 | 需安装 | 需4bit量化依赖库 |
| 使用DepthAnythingV2预处理深度图。 | 通过ComfyUI Manager安装 | 自动下载预处理模型 |
3. 工作流结构（Groups）
参考图组
输入：用户上传的模特照片（如
lQDPKGyzHiAGKAfNB9DNBQOwJksZaqj6fsIH2j_m_4e8AA_1283_2000.jpg）。处理：通过
DepthAnythingV2生成深度图，供ControlNet使用。
LoRA组
加载两个LoRA：
少数民族服饰_V1.0（权重0.2）和秋日森林_秋天女孩_V1.0（权重0.7）。
生成组
输入：深度图+LoRA风格+提示词（通过
CLIPTextEncodeFlux编码）。输出：分辨率1280x2000的潜在图像，经
VAEDecode后生成最终图像。
4. 输入与输出
输入参数：
参考图像（必选）。
分辨率：默认768x1024（可调）。
负面提示词：
"Imperfect, non-standard, poor quality"。
输出结果：风格化模特图像（如穿少数民族服饰的模特）。
5. 注意事项
⚠️ 错误处理：
若缺少ControlNet或LoRA文件，会报错
"Missing model"。Llama-3反推需显存≥8GB，低配设备建议关闭
Joy_caption组。
✅ 优化建议：
使用
fp8_e4m3fn精度减少显存占用。调整
ControlNetApplyAdvanced中的权重（默认0.75）平衡控制强度。