中文(繁體)
中文(繁體)
VAE(Variational AutoEncoder)變分自編碼器是一種重要的生成模型。想像一下,VAE就像一個非常聰明的畫家:
1.編碼器(Encoder): 首先,這個畫家會仔細觀察一幅畫,並把畫中的關鍵特徵記在腦子裡。這就像是把複雜的畫壓縮成簡單的要點。
2.潛在空間(Latent Space): 畫家腦子裡記下的這些要點,就形成了一個想像空間。在這個空間裡,畫家可以自由組合這些特徵。
3.解碼器(Decoder): 然後,畫家就可以根據腦子裡的這些要點,重新畫出一幅相似但又不完全一樣的畫。這就像是把簡單的要點又還原成複雜的畫作。
VAE模型在AI繪圖中的作用就是幫助模型更好地理解和生成圖像的細節,特別是在處理複雜的視覺元素時。
在Stable Diffusion等AI繪圖模型中,VAE主要負責:
1.圖像壓縮與重建: 將輸入圖像壓縮到潛在空間,然後重新構建,有助於模型學習圖像的本質特徵。
2.提高圖像質量: 特別是在處理面部細節、光影效果等方面,能夠生成更加逼真和高質量的圖像。
3.風格一致性: 幫助保持生成圖像的整體風格和視覺效果的一致性。
4.降低計算複雜度: 通過在壓縮的潛在空間中進行操作,可以降低計算複雜度。
VAE模型通常可以從以下渠道獲取:
1.civitai: https://civitai.com
2.Hugging Face: https://huggingface.co/
3.模型發布者的官方網站或GitHub倉庫
在這些平台上,你可以搜索”VAE”或”Stable Diffusion VAE”來找到適合的模型，比如在Civitai 模型庫中Model types 篩選使用VAE很容易就可以找到對應的VAEcivitai_filters
從上述渠道下載VAE模型文件,通常是以.pt或.safetensors為擴展名。
將下載的VAE模型文件放入ComfyUI的指定目錄:
ComfyUI_windows_portableComfyUImodelsvae
為了更好地管理模型,建議你可以在vae目錄下創建子文件夾,按照大模型版本或其他分類方式組織VAE模型文件，因為通常不同類型的繪圖模型比如不同版本的stable diffusion模型之間和Flux繪圖模型的VAE 不一定能夠通用，例如:
ComfyUI_windows_portableComfyUImodelsvaeSD1.5your_vae_model.safetensors
放置好模型文件後,重啟ComfyUI 或刷新Web 界面,以確保新添加的VAE 模型被正確加載。
如果你是與其它AI繪圖軟件共享模型文件，請參照安裝comfyui中關於共享模型部分的說明，將VAE模型文件複製或鏈接到對應的文件夾。
在ComfyUI中使用VAE模型主要通過以下節點:
1.VAE Decode: 用於將潛在表示解碼為圖像。
2.VAE Encode: 用於將圖像編碼為潛在表示。
3.Load VAE: 用於加載特定的VAE模型。
使用步驟:
1.添加”Load VAE”節點,選擇你想使用的VAE模型。
2.將”Load VAE”節點連接到需要使用VAE的其他節點(如VAE Decode或VAE Encode)。
3.根據你的工作流需求,配置其他相關節點。
某些檢查點(Checkpoint)模型可能已經包含了默認的VAE。如果你想使用自定義的VAE,確保在工作流中明確加載並使用你選擇的VAE模型。
1.vae-ft-mse-840000-ema-pruned:一個廣泛使用的VAE 模型，適用於多種Stable Diffusion 版本。 下載鏈接
2.kl-f8-anime2:專為動漫風格圖像優化的VAE 模型。 下載鏈接
3.sdxl_vae.safetensors:專門為SDXL (Stable Diffusion XL) 設計的VAE 模型。 下載鏈接
4.orangemix.vae.pt:一個在Anything V3 和V4 模型中廣泛使用的VAE，適合生成動漫風格的圖像。 下載鏈接
5.clearvae_v2.2.safetensors:一個旨在提高圖像清晰度的VAE 模型。 下載鏈接
你可以嘗試不同的VAE 模型，看哪一個能為你的特定用例帶來最佳效果。記住，VAE 的選擇可能會影響最終生成圖像的質量和風格，所以值得花時間實驗不同的選項。
請注意，某些鏈接可能需要你登錄相應的平台（如Hugging Face 或Civitai）才能下載模型文件。此外，在使用這些模型時，請確保遵守相關的使用許可和條款。