中文(新加坡)

目前位置: 首頁> AI 資訊

OpenAI 爬蟲頻繁抓取導致人體3D模型網站癱瘓

作者: LoRA 時間: 2025年01月13日 666

近日,烏克蘭一家專注於人體3D 模型的網站Trilegangers 遭遇了前所未有的流量攻擊,導致其伺服器癱瘓。該網站致力於為3D 藝術家和遊戲開發者提供海量的人體3D 模型數據,然而卻因為OpenAI 的爬蟲GPTBot 的頻繁抓取而陷入困境。

據Trilegangers 的工作人員透露,儘管網站在使用協議中明確禁止未經授權的抓取和使用,但由於未正確設置robots.txt 檔案來阻止爬蟲的訪問,最終導致了伺服器負荷過重。根據伺服器日誌,OpenAI 的GPTBot 爬蟲透過600多個不同的IP 位址發起了數以萬計的請求,結果使得網站無法正常運作,類似於遭遇了分散式阻斷服務(DDoS)攻擊。

image.png

OpenAI 在其爬蟲說明中提到,若網站不希望GPTBot 抓取內容,需在robots.txt 檔案中進行設定。然而,Trilegangers 並未意識到這一點,從而導致了當前的窘境。儘管robots.txt 檔案並不是法律要求,但如果網站已經聲明禁止未經授權使用,GPTBot 的抓取行為仍可能違反相關規定。

此外,由於使用亞馬遜AWS 伺服器,Trilegangers 在頻寬和流量上的消耗也急劇上升,給其帶來了額外的費用壓力。為應對這一突發事件,Trilegangers 已經採取措施,設置了正確的robots.txt 文件,並透過Cloudflare 屏蔽了包括GPTBot 在內的多種爬蟲的訪問,這一做法預計將有效緩解伺服器負擔,保障網站的正常運作。

這事件引發了人們對網路爬蟲行為的關注,尤其是在AI 技術日益發展的背景下,如何平衡科技應用與版權保護,成為一個值得深思的議題。

常見問題

AI課程適合哪些人群?

AI課程適合對人工智能技術感興趣的人,包括但不限於學生、工程師、數據科學家、開發者以及AI技術的專業人士。

AI課程的學習難度如何?

課程內容從基礎到高級不等,初學者可以選擇基礎課程,逐步深入到更複雜的算法和應用。

學習AI需要哪些基礎?

學習AI需要一定的數學基礎(如線性代數、概率論、微積分等),以及編程知識(Python是最常用的編程語言)。

AI課程能學到什麼?

將學習自然語言處理、計算機視覺、數據分析等領域的核心概念和技術,掌握使用AI工具和框架進行實際開發。

AI課程學完後能做什麼工作?

您可以從事數據科學家、機器學習工程師、AI研究員、或者在各行各業應用AI技術進行創新。