Thought Leadership
Ab September 2026 sperrt Cloudflare KI-Bots auf werbefinanzierten Seiten standardmäßig. Ein neues Bezahlsystem soll Publisher für Inhalte entschädigen.
Der Internet-Infrastrukturanbieter Cloudflare hat neue Kontrollmechanismen angekündigt, die Webseitenbetreibern mehr Mitspracherecht bei der Nutzung ihrer Inhalte durch KI-Unternehmen einräumen. Ab dem 15. September 2026 treten neue Standardeinstellungen in Kraft. Für alle neu registrierten Domains, neue Seiten bestehender Kunden sowie für alle Nutzer des kostenfreien Tarifs wird der Zugriff von KI-Crawlern zu Trainingszwecken sowie von autonomen KI-Agenten auf werbefinanzierten Seiten standardmäßig blockiert.
Die herkömmliche Indexierung für Suchmaschinen bleibt hingegen standardmäßig erlaubt. Diese Maßnahme zielt darauf ab, sogenannte hybride Crawler, die sowohl für die klassische Websuche als auch für das Training von KI-Modellen eingesetzt werden, zu einer klaren Trennung ihrer Aktivitäten zu zwingen. Betroffen von dieser restriktiven Auslegung sind unter anderem Bots wie der Googlebot, Applebot und Bingbot, sofern die Seitenbetreiber die Einstellungen vor dem Stichtag nicht manuell anpassen.
Vergütung bei Cloudflare über ein Pay-Per-Use-Modell
Zusätzlich zu den erweiterten Blockierungsmöglichkeiten baut Cloudflare seine Monetarisierungsfunktion über ein sogenanntes Pay-Per-Use-Modell aus. Diese Initiative stellt eine Weiterentwicklung des zuvor vorgestellten Pay-Per-Crawl-Marktplatzes dar. Das System soll sicherstellen, dass Verleger und Autoren finanziell entschädigt werden, wenn ihre Inhalte zur Generierung von Antworten durch künstliche Intelligenz beitragen, anstatt lediglich im Hintergrund gecrawlt zu werden. Webseitenbetreiber können über eine Benutzeroberfläche eigene Tarife für den Datenzugriff festlegen. KI-Unternehmen müssen dann für den Abruf bezahlen oder werden komplett blockiert. Cloudflare übernimmt dabei die technische Abwicklung und fungiert als Abrechnungsdienstleister für die Transaktionen.
Neuverteilung der Macht im Internet
Mit dieser Umstellung versucht Cloudflare, das wirtschaftliche Gleichgewicht zwischen den Erstellern von Inhalten und der KI-Industrie neu auszurichten. Das Unternehmen möchte verhindern, dass Betreiber digitaler Angebote ihre Reichweite in Suchmaschinen einbüßen, nur weil sie das unlizenzierte Abgreifen ihrer Daten blockieren. Zu den Beweggründen erklärte das Unternehmen:
„Publisher sollten nicht zwischen Online-Auffindbarkeit und der kostenlosen Weitergabe ihrer Arbeit an KI-Systeme wählen müssen.“
Cloudflare
In den vergangenen Jahren hatten bereits über eine Million Kunden die einfache Option genutzt, KI-Bots mit einem Klick zu sperren. Die neue Standardkonfiguration automatisiert diesen Schutz nun für neue Konten von Beginn an.
(red)
