中文(繁體)
中文(繁體)
ControlNet v1.0 模型SD 1.5
作者: lllyasviel
Github倉庫: https://github.com/lllyasviel/ControlNet
Hugging face倉庫: https://huggingface.co/lllyasviel/ControlNet/tree/main
兼容Stable diffusion 版本: stable diffusion SD1.5 / 2.0
這裡整理的是ControlNet 作者lllyasviel 最早提供的ControlNet 的模型資源
ControlNet v1.0 對應模型文件及下載
| 文件名 | 大小 | 更新時間 | 說明 | 下載鏈接 |
|---|---|---|---|---|
control_sd15_canny.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_depth.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_hed.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_mlsd.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_normal.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_openpose.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_scribble.pth | 5.71 GB | 2023年2月 | 下載鏈接 | |
control_sd15_seg.pth | 5.71 GB | 2023年2月 | 下載鏈接 |
controlNet原理
ControlNet的基本原理是通過添加額外的控制條件來引導擴散模型生成圖像。具體來說，它將原始神經網絡複製為兩個版本：一個“鎖定”的副本和一個“可訓練”的副本。在使用過程中，可訓練副本會根據新的控制條件進行學習和調整，而被鎖定的副本則保持原有的權重不變，從而確保擴散模型本身的生成效果不受影響。
ControlNet 使用的使用場景
Stable Diffusion ControlNet 1.0 是一個強大的插件，能夠通過各種條件來控製圖像生成。在不同類型的圖像生成任務中，可以靈活應用該插件以達到預期效果。以下是幾種具體的應用方法：
圖像精準控制ControlNet 可以根據邊緣檢測、草圖處理或人體姿勢等各種條件來控製圖像生成。例如，在需要對人物的特定部分進行詳細描繪時，可以通過定義這些條件來實現精準的圖像生成。
固定構圖與姿勢定義ControlNet 允許用戶固定圖像的構圖和定義姿勢，從而生成符合預期的圖像。這對於需要特定動作或姿態的角色設計尤其有用。
描繪輪廓與線稿生成使用ControlNet，僅憑線稿就能生成一張豐滿精緻的插畫。這在藝術創作中非常實用，特別是在需要從簡單的線條開始構建複雜圖像的情況下。
頭像轉二次元效果ControlNet 還可以用於將真實係頭像轉換為二次元風格，並且能準確還原原圖中的人物髮型和髮色。這種功能對於動漫製作和角色設計非常有幫助。