圖生圖(Image to Image)是ComfyUI 中的一種工作流,它允許用戶將一張圖像作為輸入,並生成一張新的圖像。
圖生圖可以使用在以下場景中:
1.原始圖像風格的轉換,如把寫實照片轉為藝術風格
2.將線稿圖像轉換為寫實圖像
3.圖像的修復
4.老照片著色
5.… 等其它場景
用一個比喻來講解的話,大概是這樣: 你需要畫家根據你的參考圖片,畫出符合你要求特定效果的作品。
如果你仔細比對本篇教程和文生圖教程,你會發現圖生圖的流程和文生圖的流程非常相似,只是多了個輸入的參考圖片作為輸入條件,也就是在文生圖中,我們是讓畫家(繪圖模型)根據我們的提示詞生成自由發揮,而在圖生圖中,我們是讓畫家(繪圖模型)根據我們的參考圖片和提示詞生成圖片。
請確保你已經在 ComfyUI/models/checkpoints 文件夾至少有一個SD1.5 的模型文件。
你可以使用下面的這些模型:
1. v1-5-pruned-emaonly-fp16.safetensors
3. Anything V5
保存並下載下面的圖片到本地,然後 拖拽或使用ComfyUI 打開 它,就會加載對應的工作流
或在ComfyUI 的 workflow template 中加載 image to image 工作流
下載下面的圖片作為使用示例,我們會在後面的步驟中使用它
在加載圖生圖工作流後,請對照圖片,按照序號完成以下操作,完成示例工作流的生成
1.在 Load Checkpoint 節點中加載好你本地的繪圖模型
2.在 Load Image 節點點擊 upload 按鈕,上傳準備步驟中提供的圖片
3.點擊 Queue 按鈕,或者使用快捷鍵 Ctrl + Enter(回車) 來執行圖片生成
1.試著修改 KSampler 節點中的 denoise 參數,逐漸從 1 到 0 變化,觀察生成圖片的變化
2.更換你自己的提示詞和參考圖片,生成屬於你自己的圖片效果
圖生圖工作流的核心在於在於 KSampler 節點中的 denoise 參數要是 小於1
如果你調整過 denoise 參數,進行生成後會發現:
1.denoise 越小,生成圖片和參考圖片的差異就會越小,
2.denoise 越大,生成圖片和參考圖片的差異就會越大。
因為 denoise 決定了對應圖片轉換為潛空間圖像後,向潛在空間圖像添加的噪聲強度,如果 denoise 為1,對應潛空間圖像就會變成一個完全隨機的噪聲,那這樣就和empty latent image節點生成的潛在空間一樣了,就會丟失參考圖片的所有特徵。
對應原理可以參考文生圖教程中的原理講解。