KI-Training: Gemeinsames Opt-out von Google und Co.

Website-Betreiber sollen künftig mit einer einzigen Regel in der Datei robots.txt festlegen können, ob ihre Inhalte für das Training generativer KI-Modelle genutzt werden dürfen. Google, Microsoft, OpenAI und Anthropic haben angekündigt, ein gemeinsames Signal dafür zu unterstützen. Bisher mussten Betreiber jedem Anbieter einzeln mitteilen, ob sie einverstanden sind, da die Crawler unterschiedliche Namen tragen und manche Unternehmen Training, Suche und Nutzeranfragen auf verschiedene Bots verteilen.

Vorschlag bei der IETF

Grundlage ist ein Entwurf, den Kevin Kelley von Anthropic bei der Internet Engineering Task Force (IETF) eingereicht hat. Er führt ein sogenanntes Policy Token mit der Bezeichnung __usage_ai-training ein. Betreiber legen in der robots.txt eine Gruppe für dieses Token an und listen die Pfade auf, die nicht für das Training verwendet werden sollen. Um das Training mit Inhalten der gesamten Website abzulehnen, genügen zwei Zeilen: „User-Agent: __usage_ai-training” und „Disallow: /”.

Die Unternehmen setzen den Standard unterschiedlich schnell um. Anthropic beachtet das Signal bereits. OpenAI will es in den kommenden Monaten umsetzen. Microsoft wertet die neuen Angaben ab dem 1. Februar 2027 jeweils beim nächsten Crawling einer Website aus, Google ab Anfang 2027. Setzt eine Website das neue Token, ohne Google-Extended ausdrücklich zu regeln, behandelt Google das so, als hätte sie Google-Extended ausgeschlossen. Google sieht den Vorschlag im Einklang mit dem Verhaltenskodex der EU für KI-Modelle mit allgemeinem Verwendungszweck unter der KI-Verordnung.

Training und Grounding getrennt

Microsoft bietet zusätzlich getrennte Einstellungen für das Training und für das sogenannte Grounding an, bei dem Inhalte genutzt werden, um generierte Antworten zu stützen. Die Angaben lassen sich auch pro Seite über ein Meta-Tag im HTML-Code oder einen HTTP-Header setzen. Ohne Regel geht Microsoft vorerst von einer Erlaubnis aus. Auf die Darstellung in den Suchergebnissen von Bing wirken sich die Einschränkungen laut Microsoft nicht aus.

„Das Blockieren von AI Grounding wird die Sichtbarkeit Ihrer Inhalte in KI-generierten Angeboten erheblich verringern”, warnt Microsoft. Zudem betont das Unternehmen, dass die neuen Angaben keine Lizenz- oder Zahlungsvereinbarungen begründen.

Keine technische Durchsetzung

Wie alle Angaben in der robots.txt ist das Signal eine Bitte an die Crawler und lässt sich technisch nicht erzwingen. Anbieter, die sich nicht beteiligen, sind nicht daran gebunden. Verlage und andere Rechteinhaber setzen deshalb zusätzlich auf andere Ansätze, etwa den Standard Really Simple Licensing (RSL), mit dem Website-Betreiber Gebühren für den Zugriff durch Crawler verlangen können. Infrastrukturanbieter wie Cloudflare blockieren KI-Bots inzwischen zudem standardmäßig auf bestimmten Seiten.

(red)