ComfyUI-GGUF

ComfyUI-GGUF是一個為ComfyUI原生模式提供GGUF量化支援的計畫。它允許模型檔案以GGUF格式存儲，這種格式由llama.cpp推廣。儘管常規的UNET模型（conv2d）不適用於量化，但像flux這樣的transformer/DiT模型似乎受量化影響較小。這使得它們可以在低端GPU上以更低的每權重變數位元率進行運行。

需求人群：

"目標受眾主要是使用ComfyUI進行模型訓練和部署的開發者和研究人員。他們需要在資源受限的環境中優化模型性能， ComfyUI-GGUF透過量化技術幫助他們實現這一目標。"

使用場景範例：

開發者使用ComfyUI-GGUF在低端GPU上部署flux模型，實現資源最佳化。

研究人員利用GGUF量化技術，提升了模型在邊緣設備上的表現。

教育機構在教授深度學習時，使用ComfyUI-GGUF作為案例，教導模型最佳化技巧。

產品特色：

支援GGUF格式模型文件的量化

適用於transformer/DiT模型，如flux

允許在低端GPU上運行，優化資源使用

提供了自訂節點以支援模型量化

不包括LoRA / Controlnet等支持，因為權重已被量化

提供了安裝和使用指南

使用教學：

1. 確保ComfyUI版本支援自訂操作。

2. 使用git複製ComfyUI-GGUF倉庫。

3. 安裝推理所需的依賴項（pip install --upgrade gguf）。

4. 將.gguf模型檔案放置在ComfyUI/models/unet資料夾中。

5. 使用GGUF Unet載入器，該載入器位於bootleg類別下。

6. 根據需要調整模型參數和設置，進行模型訓練或推理。