借助 Flux Diffusion 和 Janus AI,实现无缝图像扩展

CN
ComfyUI.org
2025-04-09 04:54:51

借助 Flux Diffusion 与 Janus 图像理解技术,实现无缝图像扩展。了解如何使用此工作流程进行多方向的画面延展,同时保持原始风格的一致性。

模型
Flux
关键节点
Upscaler
显存
中等显存(12–16GB)
阅读时间
4 分钟
查看所需模型

工作流概览

借助 Flux Diffusion 与 Janus 图像理解技术,实现无缝图像扩展。了解如何使用此工作流程进行多方向的画面延展,同时保持原始风格的一致性。

内容类型: Workflow

主要用途: Download

所需模型

  • Flux

所需节点

  • Upscaler

配置说明

  • 打开工作流模板前,请先安装所需模型。
  • 推荐硬件:中等显存(12–16GB)。
  • 使用上方下载按钮将工作流 JSON 导入 ComfyUI。

1. 工作流概述

m99ghidkz60nsqofzh5b00436ba616a0d7b424257248b0840ee81164e69523acf70743afa01b2420ae.gif

该工作流专注于图像扩展(Outpainting),利用Flux扩散模型Janus图像理解技术,实现无缝扩图。支持多方向扩展(上下左右),并自动生成与原始图像风格一致的扩展区域,避免出现拼接痕迹。

2. 核心模型

模型名称

功能描述

F.1-Fill-fp16_Inpaint&Outpaint

专为图像修复和扩展优化的UNet模型,支持高分辨率填充。

deepseek-ai/Janus-Pro-1B

Janus多模态模型,用于图像内容理解并生成描述文本(提示词反推)。

ae.sft

自定义VAE模型,优化图像解码质量。

Flux Guidance

动态引导扩散过程,提升扩图的自然度和一致性。

3. 关键组件与安装

  • JanusModelLoader

    • 功能:加载Janus-Pro模型,用于图像内容分析。

    • 安装:通过ComfyUI Manager安装Janus-Nodes插件,或手动克隆GitHub仓库

  • ImagePadForOutpaint

    • 功能:定义扩展区域(像素值),生成对应的遮罩(Mask)。

    • 安装:内置节点(无需额外安装)。

  • FluxGuidance

    • 功能:动态调整扩散过程的引导强度(默认值30),避免过度扭曲。

    • 安装:需安装Flux-Diffusion插件(通过ComfyUI Manager搜索)。

  • DifferentialDiffusion

    • 功能:结合基础模型和Refiner,优化扩展区域的细节。

    • 依赖模型:需加载F.1-Fill-fp16模型(需手动下载并放入models/unet文件夹)。

4. 工作流结构

Group名称

功能描述

上传图像

加载原始图像,支持PNG/JPG格式。

限制最大尺寸

约束输出分辨率(默认1024x1024),避免显存溢出。

扩图区域设置

输入扩展像素值(如左右各104像素),生成遮罩。

提示词生成

Janus自动反推图像描述,用户也可手动输入英文提示词。

生图批次控制

重复潜在变量(默认3次),提高生成稳定性。

Flux扩散工作区

包含KSampler、VAE解码等核心节点,默认参数无需修改。

5. 输入与输出

  • 输入参数

    • 图像文件(如output (2).png)。

    • 扩图像素值(如left=104, right=104)。

    • 可选提示词(留空则自动反推)。

  • 输出结果

    • 扩展后的高清图像(PNG格式),分辨率根据输入调整。

6. 注意事项

  • 显存需求:建议使用≥12GB显存的GPU(如RTX 3060 Ti)。

  • 扩图建议

    • 单次扩展不超过300像素,分多次扩展效果更佳。

    • 避免单向扩展(如仅向下),建议同时扩展左右/上下以保持平衡。

  • 错误处理

    • 若出现CUDA OOM,降低ConstrainImage中的分辨率或减少批次。

    • Janus反推失败时,需手动输入英文提示词。

常见问题