Thought Leadership
Der Internetinfrastruktur-Anbieter Cloudflare kehrt seine bisherige Opt-out-Strategie um: Ab sofort müssen KI-Unternehmen explizit um Erlaubnis fragen, bevor sie Websites durchsuchen dürfen.
Cloudflare hat seine Haltung zum KI-Web-Scraping grundlegend geändert. War das Blockieren von KI-Crawlern bisher optional, ist es nun Standard für alle Kunden. Damit wird aus einem Opt-out- ein Opt-in-System: KI-Unternehmen müssen Website-Betreiber künftig um Erlaubnis bitten, bevor sie deren Inhalte für Trainingsdaten verwenden dürfen.
Millionenfacher Widerstand gegen ungefragtes Scraping
Bereits im September 2024 hatte Cloudflare seinen Nutzern erstmals die Möglichkeit gegeben, KI-Crawler zu blockieren. Über eine Million Kunden machten davon Gebrauch – ein deutliches Signal für den Unmut über ungefragtes Datensammeln. Diese Erfahrung bewog das Unternehmen nun zur Kehrtwende: Blockierung ist Standard, Erlaubnis die Ausnahme.
“Wenn das Internet das KI-Zeitalter überleben soll, müssen wir den Publishern die Kontrolle geben, die sie verdienen”, erklärt Cloudflare-CEO Matthew Prince. Das Unternehmen sieht sich als ersten Internetinfrastruktur-Anbieter, der KI-Crawler standardmäßig ohne Erlaubnis oder Entschädigung blockiert.
Rechtliche Grauzone erschwert eindeutige Regelungen
Die Rechtslage beim Web-Scraping ist komplex und unterscheidet sich zwischen den USA und Europa erheblich. Während Urheberrechtsfragen im Vordergrund stehen, rechtfertigen Scraper ihre Aktivitäten oft mit “berechtigtem Interesse” gegen Vorwürfe der Datenschutzverletzung.
Neben rechtlichen Fragen stehen wirtschaftliche Interessen auf dem Spiel. Website-Betreiber befürchten sinkende Besucherzahlen, wenn Nutzer ihre Informationen über KI-Modelle statt durch direkte Website-Besuche erhalten. Dies könnte die Attraktivität für Werbetreibende verringern.
Cloudflares neues System differenziert nach Verwendungszweck: Während viele Websites Crawling für Suchmaschinen akzeptieren, stehen sie dem Training von KI-Modellen skeptischer gegenüber.
