Cloudflare推出AI迷宮打擊惡意爬蟲，引導虛假數據陷阱

Cloudflare 近日推出了一款名為“AI Labyrinth”（AI 迷宮）的新工具，旨在打擊未經授權抓取網站數據的網絡爬蟲。當檢測到不當的爬蟲行為時，該工具會將爬蟲引導至一系列AI 生成的虛假頁面，通過拖延和迷惑的方式浪費其資源。

儘管網站管理員通常依賴“robots.txt” 文件管理爬蟲訪問權限，但許多AI 公司（如Anthropic 和Perplexity AI）經常忽視這些規則。 Cloudflare 每天面臨超過500億個爬蟲請求，雖然能夠識別並阻止惡意請求，但攻擊者不斷調整策略，形成了一場無休止的“軍備競賽”。

AI Labyrinth 的設計使爬蟲不得不處理與目標網站無關的信息，將其困在虛假數據中。這不僅是一種“下一代誘餌”，還能幫助識別惡意爬蟲並了解其新特徵。這些鏈接對普通用戶不可見，避免了乾擾。

網站管理員可以通過Cloudflare 儀表板中的“爬蟲管理” 部分啟用該功能。 AI Labyrinth 是Cloudflare 使用生成式AI 對抗爬蟲的第一步，未來還將構建更複雜的虛假數據網絡，進一步增加爬蟲識別的難度。

官方博客：https://blog.cloudflare.com/ai-labyrinth/