DataBonsai

DataBonsai是一個Python 函式庫，利用大型語言模型(LLMs) 執行資料清洗任務。它提供了一系列工具，包括資料分類、轉換和提取，以及對LLM 輸出的驗證。支援批量處理以節省令牌，並具備重試邏輯以處理速率限制和瞬時錯誤。

需求人群：

資料科學家：可以快速對大量資料進行分類和清洗，以便於進一步分析。

開發人員：能夠整合到應用程式中，自動化資料預處理流程。

企業用戶：透過自動化資料清洗，提高資料處理效率，降低成本。

使用場景範例：

社群媒體評論的分類和情感分析。

新聞文章的自動歸檔和主題分類。

客戶回饋資料的整理與擷取，用於產品改進。

產品特色：

資料分類：使用LLMs 將資料分入預先定義的類別。

資料轉換：透過提示對資料進行轉換。

資料擷取：根據模式將資料提取成結構化格式。

批次處理：節省令牌，透過只發送一次模式和範例來分類一批資料。

重試邏輯：內建重試邏輯，用於處理API 相關錯誤。

進度條：在處理大量資料時提供進度回饋。

自動批次處理：自動調整批次大小以最佳化令牌使用和錯誤處理。

使用教學：

1. 安裝DataBonsai庫。

2. 在專案根目錄下建立一個包含API 金鑰的.env 檔案。

3. 設定LLM 提供者和類別。

4. 使用categorize 函數對單條資料進行分類。

5. 使用categorize_batch 函數對資料批次進行分類。

6. 使用applytocolumn_autobatch 函數對DataFrame 或清單進行自動批次處理。

7. 監控進度條以了解目前處理進度。

8. 在遇到錯誤時，根據需要調整批次大小或使用更好的LLM 模型。