Yuan2-M32-hf-int4

Yuan2.0-M32是一個具有32個專家的混合專家(MoE)語言模型，其中2個處於活躍狀態。引入了新的路由網絡——注意力路由器，以提高專家選擇的效率，使模型在準確性上比使用傳統路由器網絡的模型提高了3.8%。 Yuan2.0-M32從頭開始訓練，使用了2000億個token，其訓練計算量僅為同等參數規模密集型模型所需計算量的9.25%。在編碼、數學和各種專業領域表現出競爭力，Yuan2.0-M32在總參數40億中只有3.7億活躍參數，每個token的前向計算量為7.4 GFLOPS，僅為Llama3-70B需求的1/19。 Yuan2.0-M32在MATH和ARC-Challenge基準測試中超越了Llama3-70B，準確率分別達到了55.9%和95.8%。

需求人群：

"Yuan2.0-M32模型適用於需要處理大量數據和復雜計算任務的開發者和研究人員，特別是在編程、數學計算和專業領域知識的應用中。它的高效能和較低的計算需求使其成為大規模語言模型應用的理想選擇。"

使用場景示例：

在編程領域，Yuan2.0-M32可以用於代碼生成和代碼質量評估。

在數學領域，模型可以進行複雜的數學問題求解和邏輯推理。

在專業領域，如醫療或法律，Yuan2.0-M32可以輔助專業人士進行知識檢索和文檔分析。

產品特色：

混合專家(MoE)模型，具有32個專家，其中2個活躍。

使用注意力路由器進行更高效的專家選擇。

從頭開始訓練，使用2000億個token。

訓練計算量僅占同等參數規模模型的9.25%。

在編碼、數學和專業領域表現出競爭力。

具有較低的前向計算需求，每個token僅需7.4 GFLOPS。

在MATH和ARC-Challenge基準測試中表現優異。

使用教程：

1. 配置環境，使用推薦的docker鏡像啟動Yuan2.0容器。

2. 根據文檔說明，進行數據預處理。

3. 使用提供的腳本進行模型預訓練。

4. 參考vllm的詳細部署計劃，進行推理服務的部署。

5. 訪問GitHub倉庫獲取更多信息和文檔。

6. 遵守Apache 2.0開源許可協議，了解並遵守'Yuan2.0模型許可協議'。