中文(新加坡)

目前位置: 首頁> AI 資訊

OpenAI 為何遲遲不推出AI 代理?擔憂「提示注入」 攻擊

作者: LoRA 時間: 2025年01月10日 831

隨著人工智慧技術的快速發展,許多公司紛紛推出各自的「AI 代理」 系統,這些代理能夠自主與環境互動,完成無需人類幹預的任務。微軟和Anthropic 等公司已率先推出了自己的AI 代理,而行業領導者OpenAI 卻遲遲未能發布自己的版本,這背後的原因令人深思。

ChatGPT (4)OpenAI 人工智慧

根據《The Information》報道,OpenAI 的延遲與「提示注入」 攻擊有關。這種攻擊方式可以誘使AI 模型接受惡意方的指令。例如,當使用者指派AI 代理在線搜尋和購買物品時,AI 可能無意中訪問一個惡意網站,該網站可能會指示它忘記先前的指令,甚至登入使用者的郵箱,竊取信用卡資訊。這不僅會給用戶帶來災難性後果,也會嚴重損害OpenAI 的聲譽。

由於AI 代理具有自主操作電腦的能力,因此它們面臨更高的安全風險。如果這些代理被駭客入侵,它們可能會對使用者的文件和資料造成更大的損害。 OpenAI 的一位員工對此表示,雖然任何大型語言模型(LLM)都有被攻擊的潛在風險,但AI 代理的自主能力加劇了這一風險。

目前,提示注入的風險已在其他平台上得到充分證實。去年,一位安全研究人員就展示了微軟的Copilot AI 如何輕易地被操控,洩漏組織的敏感數據,包括電子郵件和銀行交易記錄。此外,該研究人員還成功地操縱了Copilot,令其以其他員工的風格撰寫電子郵件。

OpenAI 本身的ChatGPT 也曾遭遇提示注入的攻擊,一名研究人員透過上傳第三方文件(如Word 文件)成功植入虛假的「記憶」。在這種背景下,OpenAI 的員工對競爭對手Anthropic 在發布AI 代理時的「放任態度」 表示驚訝。 Anthropic 僅建議開發者“採取措施將Claude 與敏感資料隔離”,並沒有採取更嚴謹的安全措施。

據報道,OpenAI 可能會在本月推出其代理軟體。然而,人們不禁要問,開發團隊所爭取到的時間是否足以為其產品建立更強的安全防護。

常見問題

AI課程適合哪些人群?

AI課程適合對人工智能技術感興趣的人,包括但不限於學生、工程師、數據科學家、開發者以及AI技術的專業人士。

AI課程的學習難度如何?

課程內容從基礎到高級不等,初學者可以選擇基礎課程,逐步深入到更複雜的算法和應用。

學習AI需要哪些基礎?

學習AI需要一定的數學基礎(如線性代數、概率論、微積分等),以及編程知識(Python是最常用的編程語言)。

AI課程能學到什麼?

將學習自然語言處理、計算機視覺、數據分析等領域的核心概念和技術,掌握使用AI工具和框架進行實際開發。

AI課程學完後能做什麼工作?

您可以從事數據科學家、機器學習工程師、AI研究員、或者在各行各業應用AI技術進行創新。