LongRAG

LongRAG是一個基於大型語言模型（LLM）的雙重視角、穩健的檢索增強型生成系統範式，旨在增強對複雜長文本知識的理解和檢索能力。此模型特別適用於長文本問答（LCQA），能夠處理全局資訊和事實細節。產品背景資訊顯示， LongRAG透過結合檢索和生成技術，提升了對長文本問答任務的效能，特別是在需要多跳推理的場景中。該模型是開源的，可以免費使用，主要面向研究者和開發者。

需求人群：

" 目標受眾主要是自然語言處理領域的研究者和開發者， LongRAG是那些專注於長文本問答任務的專業人士。LirRAG提供了一個強大的工具，可以幫助他們建立和優化自己的問答系統，尤其是在需要處理大量文本和複雜推理的場景中。

使用場景範例：

案例一：使用LongRAG模型在HotpotQA資料集上進行問答任務，展示了模型在多跳問答中的優勢。

案例二： LongRAG在2WikiMultiHopQA資料集上的應用，處理涉及兩個Wikipedia 頁面的複雜問答。

案例三：在MusiQue資料集的應用， LongRAG展現了對音樂領域長文本問答任務的處理能力。

產品特色：

• 雙視角理解： LongRAG從全局和細節兩個角度增強對長文本的理解。

• 檢索增強：結合檢索技術，提升模型對長文本問答任務的處理能力。

• 多跳推理：適用於需要多步驟推理的複雜問答任務。

• 長文本處理：特別最佳化以處理超出模型處理長度的長文本。

• 開源免費：模型程式碼開源，研究者和開發者可以免費使用和修改。

• 靈活配置：支援不同的參數配置，以適應不同的問答任務和資料集。

• 性能優異：在多個長文本問答資料集上展示了優秀的性能。

使用教學：

1. 安裝依賴：使用pip安裝requirements.txt中的依賴。

2. 資料準備：下載並標準化所需的訓練和評估資料集。

3. 建立資料集：執行gen_instruction.py和gen_index.py腳本來建構用於SFT和檢索的資料處理。

4. 模型訓練：下載LLaMA-Factory並將建置的指令資料放入其資料目錄，修改dataset_info.json後，執行sft.sh腳本開始微調。

5. 模型評估：在src目錄下執行main.py腳本來執行推理和評估，使用不同的參數配置以適應不同的模型和任務。

6. 結果分析：評估結果將保存在log目錄中，可以分析模型在各個資料集上的表現。