Flux ControlNet模型大全

Flux ControlNet

本文將會將整理目前適用於Flux 生態的ControlNet 模型

XLabs-AI/flux-controlnet-collections

XLabs-AI/flux-controlnet-collections 是一個為FLUX.1-dev 模型提供的ControlNet 檢查點集合。這個倉庫由Black Forest Labs 開發，旨在為Flux 生態系統提供更多的控制選項。

主要特點：

支持三種ControlNet 模型：

Canny（邊緣檢測）

HED（邊緣檢測）

Depth（深度圖，基於Midas）

所有模型都在1024x1024 分辨率上訓練，適用於生成1024x1024 分辨率的圖像。

提供v3 版本，這是經過改進的更真實的版本，可以直接在ComfyUI 中使用。

提供了ComfyUI 的自定義節點和工作流程，方便用戶快速上手。

提供了示例圖片和生成結果，展示了模型的效果。

使用方法：

通過官方倉庫的main.py 腳本使用。

在ComfyUI 中使用提供的自定義節點和工作流程，官方提供的workflow： https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main/workflows

使用Gradio 演示界面。

在comfyui 中使用官方的工作流需要安裝以下兩個插件

https://github.com/Fannovel16/comfyui_controlnet_aux

https://github.com/XLabs-AI/x-flux-comfyui

許可證：

這些模型權重遵循FLUX.1 [dev] 非商業許可證。

鏈接：

模型倉庫： https://huggingface.co/XLabs-AI/flux-controlnet-collections

GitHub 倉庫：包含ComfyUI 工作流程、訓練腳本和推理演示腳本。

以下是XLabs-AI/flux-controlnet-collections 倉庫中提供的ControlNet 模型列表：

這個項目為Flux 生態系統提供了強大的ControlNet 模型，使用戶能夠更精確地控製圖像生成過程，特別適合需要基於邊緣檢測或深度信息進行圖像生成的應用場景。

InstantX Flux Union ControlNet

InstantX Flux Union ControlNet 是一個多功能的ControlNet 模型，專為FLUX.1 開發版設計。這個模型整合了多種控制模式，使用戶能夠更靈活地控製圖像生成過程。

主要特點：

多種控制模式：支持多種控制模式，包括Canny 邊緣檢測、Tile（圖塊）、深度圖、模糊、姿勢控制等。

高性能：大多數控制模式都達到了較高的有效性，特別是Canny、Tile、深度圖、模糊和姿勢控制等模式。

持續優化：開發團隊正在不斷改進模型，以提高其性能和穩定性。

兼容性：與FLUX.1 開發版基礎模型完全兼容，可以輕鬆集成到現有的FLUX 工作流程中。

多控制推理：支持同時使用多個控制模式，為用戶提供更精細的圖像生成控制。

使用方法：

單一控制模式：

加載Union ControlNet 模型

選擇所需的控制模式（如Canny、深度圖等）

設置控製圖像和相關參數

生成圖像

多控制模式：

加載Union ControlNet 模型作為FluxMultiControlNetModel

為每個控制模式設置不同的控製圖像和參數

同時應用多個控制模式來生成圖像

注意事項：

當前版本是beta 版本，可能還未完全訓練完成，在使用過程中可能會遇到一些不完美的情況。

某些控制模式（如灰度控制）的有效性可能較低，建議優先使用高有效性的模式。

與專門的單一功能ControlNet 模型相比，Union 模型在某些特定任務上的表現可能略有不及，但它提供了更大的靈活性和多功能性。

資源鏈接：

模型下載： InstantX/FLUX.1-dev-Controlnet-Union-alpha

注意：下載模型後，建議將文件重命名為更具描述性的名稱，如“flux_union_controlnet.safetensors”，以便於今後的文件管理和識別。

這個Union ControlNet 模型為FLUX 生態系統提供了強大而靈活的圖像控制工具，特別適合需要在單個模型中實現多種控制功能的用戶。隨著持續的優化和更新，它有望成為FLUX 平台上最全面和強大的ControlNet 模型之一。

InstantX Flux Canny ControlNet

除了Union ControlNet 模型，InstantX 還提供了專門用於Canny 邊緣檢測的ControlNet 模型。這個模型專注於使用Canny 邊緣檢測算法來控製圖像生成過程，為用戶提供了更精確的邊緣控制能力。

主要特點：

專注於Canny 邊緣檢測：這個模型專門針對Canny 邊緣檢測進行了優化，可以更好地處理和利用邊緣信息。

高分辨率訓練：模型在總像素數為10241024 的多尺度環境下進行訓練，使用88 的批量大小訓練了30k 步。

與FLUX.1 兼容：專為FLUX.1 開發版設計，可以無縫集成到FLUX 工作流程中。

使用bfloat16 精度：模型使用bfloat16 精度，可以在保持精度的同時提高計算效率。

使用方法：

安裝最新版本的Diffusers 庫。

加載Flux Canny ControlNet 模型和FLUX.1 基礎模型。

準備輸入圖像並應用Canny 邊緣檢測。

使用檢測到的邊緣作為控制輸入生成圖像。

Jasperai Flux.1-dev ControlNets 系列

Jasperai 為Flux.1-dev 開發了一系列ControlNet 模型，這些模型旨在為AI 圖像生成提供更精確的控制。這個系列包括表面法線、深度圖和超分辨率模型，為用戶提供了多樣化的創作工具。

您可以在Hugging Face 上的Jasperai 集合頁面查看這些模型的詳細信息。

1. 表面法線ControlNet 模型

表面法線ControlNet 模型使用表面法線圖來指導圖像生成。這個模型專門針對錶面法線信息進行了優化，可以更好地處理和利用物體表面的幾何信息。

主要特點：

專注於表面法線處理

提供物體表面的精確幾何信息

增強圖像的深度感和真實感

與FLUX.1 開發版兼容

2. 深度圖ControlNet 模型

深度圖ControlNet 模型利用深度信息來控製圖像生成。這個模型專門針對深度圖信息進行了優化，可以更好地理解和利用場景的空間結構信息。

主要特點：

專注於深度圖處理

提供場景的空間結構信息

改善圖像的透視感和空間感

與FLUX.1 開發版兼容

3. 超分辨率ControlNet 模型

超分辨率ControlNet 模型專注於提高低分辨率圖像的質量。這個模型可以將低質量圖像轉換為高分辨率版本，重建和增強圖像細節。

主要特點：

專注於圖像超分辨率處理

將低分辨率圖像轉換為高分辨率版本

重建和增強圖像細節

與FLUX.1 開發版兼容

這些模型為AI 圖像生成提供了更精確的控制，使創作者能夠生成更加真實和細緻的圖像。每個模型都針對特定的圖像處理需求而設計，為用戶提供了多樣化的創作工具。用戶可以根據自己的需求選擇合適的模型來實現不同的圖像生成效果。