近日,北京月之暗面科技有限公司宣布其旗下智慧助理Kimi 迎來了重大技術升級,推出了全新的k1.5多模態思考模型。這個模型在多模態推理和通用推理能力上達到了行業領先水平,標誌著Kimi 在人工智慧領域的另一個突破性進展。
k1.5多模態思考模型是Kimi 在短短三個月內第三次對其k 系列強化學習模型進行重磅升級。繼去年11月發布的k0-math 數學模型和12月發布的k1視覺思考模型之後,k1.5模型在基準測試中表現卓越。在short-CoT 模式下,k1.5的數學、程式碼、視覺多模態和通用能力大幅超越了全球範圍內短思考SOTA 模型GPT-4o 和Claude3.5Sonnet 的水平,領先幅度高達550%。而在long-CoT 模式下,k1.5的數學、代碼和多模態推理能力也達到了長思考SOTA 模型OpenAI o1正式版的水平,這在全球範圍內是OpenAI 之外的公司首次實現o1正式版的多模態推理性能。
此次升級的背後是Kimi 技術團隊的不懈努力和創新。團隊首次公開了詳細的模型訓練技術報告《Kimi k1.5:借助大語言模型實現強化學習的Scaling》,記錄了新技術範式下的模型訓練探索之路。
報告指出,k1.5模型的關鍵創新包括長上下文擴展,透過部分展開技術提高訓練效率,同時觀察到情境長度的增加能夠持續提升模型效能。此外,改進的策略優化方法和簡潔的框架設計也為模型的強大性能提供了支援。值得注意的是,k1.5模型在文字和視覺資料上進行了聯合訓練,具備了聯合推理兩種模態的能力,尤其在數學能力方面表現出色,儘管在處理部分依賴圖形理解的幾何圖形題時仍存在挑戰。
為了進一步提升短鏈思考推理能力,團隊也提出了有效的long2short 方法,利用Long-CoT 技術改進Short-CoT 模型,在AIME、MATH500和LiveCodeBench 等測試中取得了顯著成績,大幅超越了現有的短鏈思維模型,如GPT-4和Claude Sonnet3.5。
k1.5多模態思考模型的預覽版將陸續灰度上線Kimi.com 網站和最新版本的Kimi 智能助手app。使用者在使用過程中如果發現模型切換按鈕,即可體驗這項全新升級的模型。 k1.5模型擅長深度推理,能夠幫助使用者解決複雜的程式碼問題、數學問題和工作難題。
月之暗面科技有限公司表示,2025年將繼續沿著既定路線圖加速升級k 系列強化學習模型,帶來更多模態、更多領域的能力和更強的通用能力,為用戶解鎖更多可能性。
github 報告連結: https://github.com/MoonshotAI/kimi-k1.5