Aria-Base-64K

What is StackBlitz?

StackBlitz is a web-based IDE tailored for the JavaScript ecosystem. It uses WebContainers, powered by WebAssembly, to create instant Node.js environments directly in your browser. This provides exceptional speed and security.

---

產品介紹

Aria-Base-64K是Aria 系列的基礎模型之一，旨在研究和進一步訓練。

預訓練: 經過33B token 的訓練，包括21B 多模態數據，12B 語言數據，其中69% 為長文本。

應用場景: 適用於長視頻問答數據集或長文檔問答數據集的繼續預訓練或微調。

優勢: 即使在資源有限的情況下，也能通過短指令調優數據集進行後訓練，並轉移到長文本問答場景。

多模態理解: 能夠理解高達250 張高分辨率圖像或500 張中等分辨率圖像。

基礎性能: 在語言和多模態場景中表現出色，與Aria-Base-8K 持平。

訓練特點: 僅約3% 的數據進行了聊天模板格式的訓練。

目標用戶群

研究人員和開發者，尤其是處理長文本和多模態數據集的專業人士。

使用場景示例

開發視頻問答系統，提升視頻內容理解能力。

應用於長文檔問答，提高文檔檢索和理解的效率。

開發新的多模態應用，如圖像和文本的聯合推理。

產品特色

長文本預訓練

多模態理解

強大的基礎性能

低比例聊天模板訓練

快速啟動支持

高級推理和微調

使用教程

1. 安裝必要庫: 使用pip 安裝transformers、accelerate 和sentencepiece。

2. 加載模型: 使用AutoModelForCausalLM.from_pretrained 加載Aria-Base-64K模型。

3. 處理輸入: 使用AutoProcessor.from_pretrained 處理輸入文本和圖像。

4. 進行推理: 將處理後的輸入傳遞給模型，執行生成操作。

5. 解碼輸出: 使用處理器解碼模型輸出的token，得到最終結果。

6. 高級使用: 訪問GitHub 上的代碼庫，進行更高級的推理和微調。