Användare av Cloudflares tjänster har fått en ny funktion som kan aktiveras för att förhindra AI-bottar från att samla in information från deras sajter, skriver Techspot.

Fastän webbplatsägare idag har möjligheten att blockera bottar från företag som Open AI och Google genom att lägga till specifika regler i en robots.txt-fil på servern, är det ingen garanti för att slippa undan.

Dels har många AI-företag redan samlat in data innan de började erbjuda möjligheten för webbplatsägare att slippa, dels måste botten vara programmerad att respektera och följa de instruktioner som anges i robots.txt-filen, vilket inte alltid är fallet, argumenterar Cloudflare på sin blogg.

cloudflare.png

Cloudflares egen statistik över de AI-bottar som syns mest frekvent på webbplatser i Cloudflares nätverk. Bildkälla: Cloudflare

Cloudflares verktyg ska automatiskt kunna upptäcka försök till insamling av webbplatsdata, och är framtagen baserat på analyser av AI-bottarnas beteende. Modellerna tar även hänsyn till om en AI-bott försöker undvika att bli upptäckt genom att efterlikna beteende från mänskliga användare.

”När illasinnade aktörer försöker skrapa webbplatser i stor skala använder de vanligtvis verktyg och metoder som vi kan identifiera”, skriver Cloudflare. Baserat på dessa signaler kan Cloudflares modeller upptäcka och blockera försöken, menar företaget.

Samtidigt fruktar Cloudflare att vissa AI-företag kommer att fortsätta anpassa sig för att undvika att få sina bottar upptäckta. Förutom det nya verktyget har man därför skapat ett formulär för webbplatsägare där de kan rapportera misstänkta AI-bottar. Baserat på dessa rapporter och egna analyser kommer Cloudflare sedan manuellt att svartlista AI-bottarna.