Neue Spielregeln für die KI-Ökonomie

Cloudflare treibt mit einem genehmigungsbasierten Modell für KI-Crawling einen fundamentalen Kurswechsel im globalen Internetverkehr voran.

Stephanie Cohen, Chief Strategy Officer des Unternehmens, erläutert, warum wirtschaftlicher Ausgleich, technische Kontrollmechanismen und die Freiheit originärer Inhalte künftig zusammengedacht werden müssen.

Im Gespräch skizziert sie, wie Cloudflare mit Pay-per-Crawl ein marktgerechtes Modell etablieren will, das Content-Creators schützt und KI-Unternehmen gleichzeitig ermöglicht, rechtskonform zu arbeiten und ihre Lösungen weiterzuentwickeln. Es geht nicht nur um technische Durchsetzung, sondern um ein neues Gleichgewicht zwischen Plattformmacht, digitaler Verantwortung und strategischer Weichenstellung im KI-Zeitalter. Stephanie Cohen spricht über den Paradigmenwechsel im Umgang mit KI-Crawlern, die Rolle von Pay-per-Crawl, technische Grundlagen und neue Kontrollmechanismen für Unternehmen. Ein Gespräch über Infrastruktur, Verantwortung und die Zukunft offener Inhalte.

Was war die Hauptmotivation von Cloudflare, einen Paradigmenwechsel im Umgang mit KI-Crawlern einzuleiten?

Stephanie Cohen: Wir haben festgestellt, dass sich das Verhalten im Internet grundlegend verändert. Immer mehr Menschen konsumieren nicht mehr den ursprünglichen Inhalt, sondern nur noch seine Ableitungen und Zusammenfassungen durch KI. Ohne Anreize für die Erstellung originärer Inhalte geht dieser verloren. Deshalb war es für uns entscheidend, ein neues, nachhaltiges Ökosystem zu schaffen, das sowohl Innovation im Bereich KI ermöglicht als auch den Wert originärer Inhalte schützt.

Welche Bedeutung hat diese Entscheidung für die strategische Positionierung im globalen Infrastrukturmarkt?

Stephanie Cohen: Am 1. Juli haben wir die Standardeinstellungen für neue Domains so geändert, dass KI-Training-Crawler standardmäßig blockiert werden. Users können selbst entscheiden, ob sie den Zugriff erlauben oder sogar eine Bezahlung verlangen. Damit schaffen wir die Voraussetzungen für ein nachhaltiges Modell, das sich mit unserer Mission deckt: ein besseres Internet zu bauen. Und mit über 20 Prozent des weltweiten Traffics auf unserem Netzwerk haben wir die Reichweite, um diesen Wandel aktiv zu gestalten.

Wie fügt sich das neue Crawling-Modell in die Gesamtstrategie ein, das Internet widerstandsfähiger, fairer und wirtschaftlich tragfähig zu machen?

Stephanie Cohen: Wenn wir vom Ziel sprechen, das Internet widerstandsfähiger zu machen, dann beginnt das mit der Existenz des Internets selbst, mit der Verfügbarkeit von originärem Content überall, zugänglich und offen. Ohne diese Inhalte fehlt dem Netz seine Grundlage. Deshalb arbeiten wir daran, ein Ökosystem zu schaffen, das das Fortbestehen dieser Inhalte sichert. Entscheidend ist dabei, dass unser Modell nicht exklusiv ist. Es richtet sich an große Unternehmen ebenso wie an Einzelpersonen. Wir glauben, dass Diversität eine Stärke ist.

Unsere Infrastruktur, über 330 Städte weltweit, erlaubt uns, Trends im Internet früh zu erkennen. Wir sehen Entwicklungen oft schneller als andere. Diese Tiefe und Breite macht unser Netzwerk einzigartig. Sie versetzt uns in die Lage, böswillige Akteure zu identifizieren, bevor sie großen Schaden anrichten können. Und sie hilft dabei, Innovation zu ermöglichen, ohne dabei Sicherheit oder Transparenz zu opfern. Unser Ansatz basiert darauf, Kontrolle zu ermöglichen, nicht zu verhindern. Wer Inhalte anbietet, soll entscheiden können, wer darauf zugreift und zu welchem Zweck. Damit stärken wir nicht nur das Vertrauen in das Web, sondern sorgen auch für ökonomische Fairness und technische Stabilität – beides ist notwendig, wenn das Internet die Ära der generativen KI überstehen soll.

Welchen Beitrag kann Cloudflare mit dem Modell Pay-per-Crawl zur Neuordnung der ökonomischen Beziehung zwischen Content-Anbietern und AI-Firmen leisten?

Stephanie Cohen: Wir haben mit Pay-per-Crawl die Grundlagen geschaffen, damit sich ein echter Markt für KI-Zugriffe auf Inhalte entwickeln kann. Dafür braucht es Transparenz und Verlässlichkeit. Jede Website soll wissen, wer sie crawlt, warum das passiert, also ob es um Training, Suche oder etwas anderes geht, und ob dafür bezahlt wird. Ein zentrales Element ist WebBotAuth. Damit lassen sich Crawler kryptografisch verifizieren. Das ist wichtig, weil viele Bots bislang ohne jede Identifikation Inhalte gescannt haben. Pay-per-Crawl gibt den Website-Betreibern die Möglichkeit, diese Zugriffe gezielt zu steuern, zu blockieren oder zu bepreisen. Es ist der erste Schritt zu einem nachhaltigen Ökosystem, in dem Innovation durch KI möglich bleibt, ohne dass die Ersteller leer ausgehen.

Wie weit ist die Entwicklung von Pay-per-Crawl fortgeschritten und wer ist daran beteiligt?

Stephanie Cohen: Pay-per-Crawl ist seit dem 1. Juli in einer öffentlichen Beta verfügbar. Unternehmen jeder Größe, von großen Verlagen bis zu kleinen Entwicklerplattformen, sind bereits beteiligt. Wir sammeln in dieser Phase intensiv Feedback, um die Funktionsweise weiter zu verbessern. Wer teilnehmen möchte, kann sich direkt über das Cloudflare-Dashboard registrieren. Ein wichtiger Punkt ist die technische Zuverlässigkeit: Durch WebBotAuth können die Bots nicht nur identifiziert, sondern auch verifiziert werden. So können Inhalte gezielt für legitime Crawler freigegeben oder gesperrt werden. Es ist uns wichtig, dass die Plattform von Anfang an so konzipiert ist, dass sie für alle Akteure funktioniert, nicht nur für große Player.

Welche technischen Grundlagen ermöglichen es, AI-Crawler zuverlässig zu erkennen, ohne legitime Dienste zu beeinträchtigen?

Stephanie Cohen: Wir betreiben seit über 15 Jahren Bot-Management. Unsere Systeme können unterscheiden, ob es sich um einen Menschen oder einen Bot handelt, und analysieren das Verhalten der Zugriffe. Kunden entscheiden selbst, welche Bots sie zulassen wollen. Unsere Erfahrung und die Größe unseres Netzwerks geben uns eine sehr hohe Erkennungsrate.

Welche Anforderungen stellen Unternehmen aus dem deutschsprachigen Raum an die Kontrolle über ihre Inhalte und wie fließt das in die Produktentwicklung ein?

Stephanie Cohen: Gerade in Deutschland und Österreich hören wir sehr deutlich, dass Unternehmen Kontrolle fordern, Kontrolle darüber, wer auf ihre Inhalte zugreift, ob sich Bots an die Anweisungen in robots.txt halten und wie Verstöße erkannt werden. Ein typisches Problem sind technische Fehler: Typos in der robots.txt, falsche Formatierungen oder Crawler, die sich nicht korrekt ausweisen. Deshalb haben wir eine Funktion implementiert, die diese Datei automatisch überprüft und mögliche Fehler meldet. Ich bin gerade selbst in Deutschland unterwegs, um mit Kunden zu sprechen und deren Anforderungen besser zu verstehen. Dieses Feedback fließt direkt in unsere Produktentwicklung ein. Unser Ziel ist, dass auch kleine und mittlere Unternehmen klare, technisch funktionierende Steuerungsmöglichkeiten haben.

Und wie unterstützt Cloudflare Unternehmen konkret beim Policy-Management rund um KI-Zugriffe?

Stephanie Cohen: Transparenz war für uns der erste Schritt. Mit dem KI-Audit können Unternehmen sehen, welche Crawler auf ihren Seiten aktiv sind. Auf dieser Basis geben wir granularere Kontrollen an die Hand: Man kann festlegen, ob ein Bot für Training zugelassen ist, nur für Suche oder gar nicht. Diese Steuerung ist vollständig über das Dashboard möglich. Sie lässt sich außerdem mit bestehenden Anwendungen verbinden, sodass Veränderungen bei den Zugriffen direkt Auswirkungen sichtbar machen, etwa auf Ladezeiten, Nutzerverhalten oder Sichtbarkeit in anderen Systemen. Das Ziel ist nicht nur Schutz, sondern auch die Möglichkeit, strategisch zu entscheiden, wie Inhalte bereitgestellt werden.

Wie lässt sich eine Balance zwischen Sichtbarkeit, Reichweite und dem Schutz geistigen Eigentums herstellen?

Stephanie Cohen: Es gibt keine Einheitslösung. Jeder Content-Creator, jedes Unternehmen hat andere Vorstellungen. Einige wollen maximale Sichtbarkeit, andere wollen gezielt für Training oder Suche lizenzieren, manche wollen blockieren. Deshalb haben wir ein System gebaut, das keine pauschale Vorgabe macht, sondern Optionen eröffnet. Pay-per-Crawl erlaubt eine wirtschaftliche Verwertung, ohne Inhalte komplett abzuschotten. Aber es ist genauso möglich, gezielt nur bestimmten Crawlern Zugriff zu geben oder Inhalte vollständig auszunehmen. Das Entscheidende ist: Die Entscheidung liegt bei den Betreibern selbst. Sie haben die Kontrolle.

Welchen Einfluss haben solche Initiativen auf das Vertrauen in die Integrität und Nachhaltigkeit des offenen Webs?

Stephanie Cohen: Unsere Mission bei Cloudflare ist ein offenes, freies und sicheres Internet. Das heißt nicht, dass jeder Zugriff erlaubt sein muss, sondern dass es klare Regeln gibt. Unser Modell ist nicht darauf ausgelegt, alles zu blockieren. Im Gegenteil: Es geht darum, Koexistenz zu ermöglichen, zwischen Content-Erstellern und KI-Entwicklern. Wir wollen ein Modell etablieren, bei dem beides funktioniert. Indem wir mehr Kontrolle geben, schaffen wir Vertrauen. Und dieses Vertrauen ist nötig, damit das offene Netz nicht durch Abschottung oder Fragmentierung ersetzt wird.

Welche übergeordneten Ziele verfolgen Sie persönlich bei der Frage des fairen Zugangs zu digitalen Ressourcen in der Ära generativer KI?

Stephanie Cohen: Ich wünsche mir ein Internet, in dem originärer, vielfältiger und hochwertiger Content weiterhin entsteht und sichtbar bleibt. Das war der Kern des Netzes seit seinen Anfängen. Aber wir stehen vor einer Schwelle: Wenn der Zugang zu Inhalten nur noch über geschlossene Plattformen oder Paywalls funktioniert, verlieren wir genau das, was das Internet stark gemacht hat. Deshalb wollen wir mit unserem Modell Bedingungen schaffen, die ein neues Gleichgewicht ermöglichen. Unsere Hoffnung ist, dass daraus ein goldenes Zeitalter originärer Inhalte entsteht, in dem Qualität wieder zählt und auch wirtschaftlich honoriert wird.

Vielen Dank für das Gespräch!