Meta 高層沉迷於超越GPT-4，訓練資料面對版權風波！

近日，隨著一起關於人工智慧版權的案件——Kadrey v.Meta 案的進展，Meta 公司內部的消息被法庭解封，透露出公司高層在開發Llama3過程中，執著於超越OpenAI 的GPT-4模型。

Meta 的生成AI 副總裁阿赫馬德・阿爾- 達赫（Ahmad Al-Dahle）在2023年10月的一條信息中提到:「老實說，我們的目標必須是GPT-4。我們有64000個GPU!我們需要學習如何建立前沿技術，贏得這場競爭。

儘管Meta 發布開放的AI 模型，但公司的AI 領導層顯然更關注那些不公開模型權重的競爭對手，例如Anthropic 和OpenAI，並將它們的Claude 和GPT-4視為工作標準。儘管法國AI 新創公司Mistral 被多次提及，但Meta 高層對其評價顯得頗為輕視。阿爾- 達赫在信息中表示:“Mistral 對我們來說就是小菜一碟，我們應該能夠做得更好。”

在AI 領域，各大公司爭相推出先進的AI 模型，而這些法庭文件顯示了Meta 在這場競爭中的高度緊張氛圍。在多個資訊中，Meta 的AI 領導者提到他們在獲取訓練Llama 所需資料方面「非常積極」。一位主管甚至表示:「Llama3是我唯一關心的事情。」他們討論瞭如何改進數據集，以提升Llama3的表現。

然而，案件的檢察官指控Meta 高層在急於推出AI 模型的過程中，可能在資料使用上有所疏漏，涉及了一些受版權保護的書籍。 Touvron 提到，Llama2的資料集組合“效果不佳”，並探討如何使用更好的資料來源來提升Llama3。阿爾- 達赫問道:“我們有合適的數據集嗎?有沒有什麼因為愚蠢的原因無法使用的內容?”

Meta 執行長馬克・祖克柏先前曾表示，努力縮小Llama 模型與OpenAI、Google等公司閉源模型之間的效能差距。這些內部消息顯示，Meta 在追求這一目標上承受著巨大的壓力。祖克柏在2024年7月的一封信中提到：“今年，Llama3在最先進的模型中具備競爭力，並在某些領域領先。”

2024年4月，Meta 最終發布了Llama3，這一開放AI 模型在競爭中表現出色，超過了來自Mistral 的開放選項，但其訓練模型使用的數據—— 這些數據據稱得到了扎克伯格的批准，正面臨多個訴訟的審查。