lmms-finetune
簡化大型多模態模型微調，支持多種策略與模型，快速上手科研開發。
中文(繁體)
中文(繁體)
什麼是lmms-finetune ？
lmms-finetune是一個專為簡化大型多模態模型（LMMs）微調過程而設計的統一代碼庫。它為研究人員和開發者提供了一個結構化的框架，使他們能夠輕鬆集成最新的LMMs 並進行微調，支持全微調、LoRA 等多種策略。該代碼庫設計簡潔輕量，易於理解和修改，適用於多種模型，包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave 和LLaVA-NeXT-Video。
誰需要lmms-finetune ？
lmms-finetune主要面向需要對大型多模態模型進行微調以適應特定任務或數據集的研究人員和開發者。無論是學術研究還是工業應用， lmms-finetune都能提供一個簡單、靈活且易於擴展的平台，讓用戶專注於模型微調和實驗，而無需過多關注底層實現細節。
使用場景示例
1. 視頻內容分析：研究人員使用lmms-finetune對LLaVA-1.5 進行微調，以提高在特定視頻內容分析任務上的性能。
2. 圖像識別：開發者利用該代碼庫將Phi-3-Vision 模型微調到新的圖像識別任務中。
3. 教學應用：教育機構採用lmms-finetune進行教學，幫助學生理解大型多模態模型的微調過程和應用。
產品特色
統一結構的微調框架：簡化集成和微調過程。
多種微調策略：支持全微調、LoRA、Q-LoRA 等。
簡潔的代碼庫：便於理解和修改。
多模型支持：包括單圖像模型、多圖像/交錯圖像模型和視頻模型。
詳細文檔和示例：幫助用戶快速上手。
靈活的自定義：支持快速實驗和自定義需求。
使用教程
1. 克隆代碼庫：git clone https://github.com/zjysteven/lmms-finetune.git
2. 設置Conda 環境：conda create -n lmms-finetune python=3.10 -y 後conda activate lmms-finetune
3. 安裝依賴：python -m pip install -r requirements.txt
4. 安裝額外庫：如python -m pip install --no-cache-dir --no-build-isolation flash-attn
5. 查看支持的模型：運行python supported_models.py 獲取支持的模型信息。
6. 修改訓練腳本：根據示例或文檔修改example.sh，設置目標模型、數據路徑等參數。
7. 運行訓練腳本：bash example.sh 開始微調過程。
通過lmms-finetune ，用戶可以更高效地進行模型微調，專注於解決實際問題，而無需擔心複雜的底層實現。
