OpenAI人工智能推理研究主管Noam Brown近日在英偉達GTC大會的小組討論中表示,某些形式的“推理”AI模型本可以提前20年出現,如果研究人員當時“知道正確的方法和算法”的話。他指出,這個研究方向之所以被忽視,存在多種原因。
Brown回憶起他在卡內基梅隆大學從事博弈AI研究的經歷,包括曾擊敗頂級人類撲克職業選手的Pluribus。他表示,當時他幫助創建的AI的獨特之處在於,它能夠“推理”解決問題,而不是依賴純粹的暴力計算。 Brown提到,人類在棘手的情況下會花費大量時間思考,這或許對人工智能非常有益。
Brown也是OpenAI的AI模型o1的架構師之一。該模型採用了一種名為“測試時推理”的技術,使其在響應查詢之前進行“思考”。測試時推理通過對運行中的模型應用額外的計算來驅動某種形式的“推理”。一般來說,所謂的推理模型比傳統模型更準確、更可靠,尤其是在數學和科學等領域。
在小組討論中,當被問及鑑於高校普遍缺乏計算資源,學術界是否還有可能進行像OpenAI這樣規模的實驗時,Brown承認,近年來隨著模型對計算資源的需求越來越高,這變得更加困難。但他同時指出,學術界可以通過探索對計算要求較低的領域,例如模型架構設計,來發揮重要作用。
Brown強調,前沿實驗室和學術界之間存在合作的機會。他表示,前沿實驗室會關注學術出版物,認真評估其提出的論點是否具有足夠的說服力,即如果進一步擴大規模,相關研究是否會非常有效。如果論文提出了令人信服的論點,這些實驗室將會對此進行深入研究。
此外,Brown還特別提到了AI基準測試領域,認為學術界可以在其中發揮重要影響。他批評當前AI基準測試的現狀“非常糟糕”,指出這些基準測試往往考察的是深奧的知識,其得分與大多數人關心的任務的熟練程度相關性較差,從而導致了對模型能力和改進的廣泛誤解。 Brown認為,改進AI基準測試不需要大量的計算資源。
值得注意的是,在本次討論中,Brown最初的言論指的是他在加入OpenAI之前從事博弈AI的研究工作,例如Pluribus,而不是像o1這樣的推理模型。