Sakana AI 是一家專注於自然啟發演算法的人工智慧研究實驗室，近日推出了名為Transformer² （Transformer-squared） 的創新自適應語言模式。該模型無需昂貴的微調，即可在推理過程中動態學習並適應新任務，這標誌著大型語言模型(LLM) 技術發展的重要一步。
Transformer² 的核心創新在於其獨特的兩步驟動態權重調整機制。首先，它分析傳入的使用者請求，理解任務需求;然後，透過數學技巧，利用奇異值分解（SVD） 將模型權重與任務需求對齊。透過選擇性地調整模型權重的關鍵組件，Transformer² 能夠即時優化效能，而無需耗時的重新訓練。這與傳統的微調方法形成鮮明對比，後者需要在訓練後保持參數靜態，或採用低秩自適應(LoRA) 等方法，僅修改一小部分參數。
Transformer 平方訓練與推理（資料來源:arXiv）
為了實現動態調整，研究人員採用了奇異值微調（SVF） 的方法。在訓練時，SVF 從模型的SVD 元件中學習一組被稱為z 向量的技能表示。在推理時，Transformer² 透過分析提示來確定所需技能，然後配置相應的z 向量，從而實現為每個提示量身定制的回應。
測驗結果顯示，Transformer² 在數學、編碼、推理和視覺問答等各種任務中均優於LoRA 模型，且參數較少。更令人矚目的是，該模型還具有知識遷移能力，即從一個模型學習到的z 向量可以應用到另一個模型，從而顯示了廣泛應用的潛力。
Transformer-squared（表中的SVF）與基礎模型與LoRA 的比較(來源:arXiv)
Sakana AI 在其GitHub 頁面上發布了Transformer² 元件的訓練程式碼，為其他研究人員和開發人員打開了大門。
隨著企業不斷探索LLM 的應用，推理時客製化技術正逐漸成為主流趨勢。 Transformer² 與Google 的Titans 等其他技術一道，正在改變LLM 的應用方式，使用戶能夠根據其特定需求動態調整模型，而無需重新訓練。這種技術的進步將使LLM 在更廣泛的領域內更加有用和實用。
Sakana AI 的研究人員表示，Transformer² 代表了靜態人工智慧與生命智慧之間的橋樑，為高效、個人化和完全整合的人工智慧工具奠定了基礎。
