Cloudflare釋出免費工具來制止AI爬蟲

AI模型的出現改變了網路爬蟲的生態，為了讓網站能夠管理AI網路爬蟲的資料搜刮，Cloudflare本周發表了一系列工具，包括可用來察看AI爬蟲具體活動的AI Audit，可一鍵封鎖所有AI爬蟲的Block AI Scrapers and Crawlers，亦準備推出新元件，以讓網站管理者可以設定特定內容的價格，並向模型供應商收費。

Cloudflare解釋，過去網路爬蟲只有好跟壞兩種，好爬蟲以搜尋引擎爬蟲為代表，讓使用者可發現網站並替網站帶來流量，壞爬蟲則可能會攻擊網站、利用自動化功能奪取優先權，或是存取用以競爭的資料。然而，AI時代帶來了第三種AI爬蟲，這些爬蟲試圖掃描網站的公開內容，並用來訓練模型，儘管它們並不會破壞或攻擊網站，但它們也不會替網站帶來流量，而是利用網站的內容來創造自己的價值。

過去Cloudflare建置了Cloudflare Bot Management平臺，以讓網站管理員可區分不同的爬蟲，並決定允許或阻止它們，現在Cloudflare則開發AI Audit，可用來察看AI爬蟲的各種行為，包括爬蟲的類型、造訪的頻率，或是所掃描的內容，以準確了解AI爬蟲的行為，決定是否控制它們。

若還不確定該如何處理這些AI爬蟲，網站管理員可以藉由新的Block AI Scrapers and Crawlers功能，一鍵封鎖所有的AI爬蟲。

在這兩個新的免費功能之外，網站管理員也可透過既有的Web Application Firewall（WAF）功能，更精細地控制所要允許或封鎖的爬蟲。

Cloudflare指出，除了上述的選擇之外，他們認為網站應該也要能夠得到合理的補償，因此正在規畫一個新的元件，允許網站擁有者可替該站或特定內容設定價格，要求以AI爬蟲掃描該站的模型供應商付費。

圖片來源／Cloudflare