LongLLaMA
LongLLaMA :一個強大的開源大型語言模型,適用於多功能應用程序,提供高級功能和無縫整合。
LongLLaMA是一個大型語言模型,能夠處理長篇文字。它基於OpenLLaMA,並使用Focused Transformer (FoT) 方法進行了微調。它能夠處理長達256k 標記甚至更多的文字。我們提供了一個較小的3B 基礎模型(未經指令調整),並在Hugging Face 上提供了支援更長上下文的推斷程式碼。我們的模型權重可以作為現有實作中LLaMA 的替代品(適用於最多2048 個標記的短上下文)。此外,我們也提供了評估結果和與原始OpenLLaMA 模型的比較。
需求人群:
"適用於各種自然語言處理任務,如文字生成、文字分類、問答系統等"
產品特色:
處理長篇文本
支援256k 標記或更長的文本
用於自然語言處理任務