DIG-In

DIG-In是一個用於評估文本到圖像生成模型在不同地理區域中質量、多樣性和一致性差異的庫。它使用GeoDE和DollarStreet作為參考數據集，通過計算生成圖像的相關特徵和精度、覆蓋度指標，以及使用CLIPScore指標來衡量模型的表現。該庫支持研究人員和開發者對圖像生成模型進行地理多樣性的審計，以確保其在全球範圍內的公平性和包容性。

需求人群：

" DIG-In適用於需要評估和確保其圖像生成模型在全球範圍內表現一致的研究人員和開發者。它特別適用於那些關注模型在不同文化和地理背景下的公平性和包容性的應用場景。"

使用場景示例：

研究人員使用DIG-In評估不同圖像生成模型在非洲地區的輸出質量。

開發者利用DIG-In確保其應用在全球範圍內提供一致的用戶體驗。

教育機構使用DIG-In作為教學工具，教授學生如何評估和改進AI模型的公平性。

產品特色：

使用GeoDE和DollarStreet數據集評估生成圖像的質量差異。

計算生成圖像的精度、召回率、覆蓋度和密度指標。

使用CLIPScore指標評估圖像的一致性。

提供腳本以從生成圖像中提取特徵。

支持自定義圖像或特征路徑的指針。

提供計算指標的腳本，包括平衡參考數據集。

使用教程：

1. 生成對應於csv文件中提示的圖像。

2. 提供指向提示csv和生成圖像文件夾的指針，以提取圖像特徵。

3. 使用提取的特徵計算指標，包括精度、召回率、覆蓋度和密度。

4. 根據需要更新特徵文件的路徑。

5. 運行計算指標的腳本，包括平衡參考數據集。

6. 分析生成的csv文件中的指標結果，以評估模型性能。