Thought Leadership
Eine aktuelle Untersuchung des Webhosters Hostinger zeigt, dass spezialisierte KI-Crawler inzwischen mehr Webseiten erfassen als traditionelle Suchmaschinen-Bots.
Der von OpenAI entwickelte GPTBot hat sich in kurzer Zeit an die Spitze gesetzt.
Laut Hostinger basiert die Analyse auf der Auswertung von über elf Milliarden täglichen Anfragen auf rund fünf Millionen Webseiten. Dabei wurden 55 verschiedene Crawler identifiziert. Auffällig ist der starke Zuwachs an KI-Bots, die Inhalte für Systeme wie ChatGPT oder andere KI-Anwendungen sammeln.
Der GPTBot allein verarbeitet mehr als 108 Millionen tägliche Anfragen und erfasst über 4,4 Millionen Webseiten – mit einer Reichweite von 84 Prozent. Damit liegt er bereits vor Googles eigenem Bot, der zwar fast achtmal so viele Requests stellt, aber eine geringere Abdeckung erreicht. Auch der OpenAI-SearchBot ist aktiv und crawlt inzwischen mehr als 2,4 Millionen Seiten.
Bekannte Bots im Vergleich
Neben den neuen KI-Crawlern bleiben klassische Bots im Netz präsent. Der SEO-Crawler von Ahrefs erreicht mit 228 Millionen täglichen Anfragen eine Abdeckung von 65 Prozent. Der Bing-Bot liegt bei 255 Millionen Requests und deckt 58 Prozent ab.
Auch Social-Media-Plattformen betreiben eigene Crawler: Meta-Bots, TikTok-Bot und Apple-Bot sind regelmäßig im Einsatz. Hinzu kommen spezialisierte Dienste wie SEMRush, die für Analysezwecke Inhalte erfassen.
Dominanz von US- und China-Anbietern
Die Studie macht deutlich, dass rund 80 Prozent der Crawler von großen US-Technologieunternehmen stammen – darunter OpenAI, Google, Microsoft, Amazon, Meta, Apple und Anthropic. Etwa zehn Prozent kommen aus China, unter anderem von Baidu oder Huawei. Nur ein kleiner Teil entfällt auf Anbieter aus Europa, Russland oder anderen Regionen.
Für Unternehmen ergeben sich aus der Entwicklung Chancen und Risiken zugleich. Einerseits können Inhalte durch KI-basierte Systeme neue Reichweiten erzielen. Andererseits sinkt die Wahrscheinlichkeit, dass Nutzer die ursprüngliche Quelle besuchen, wenn Antworten bereits direkt in einer KI-Anwendung erscheinen.
Hostinger hat deshalb ein Werkzeug namens AI Audit vorgestellt, das Betreibern mehr Transparenz über die Aktivitäten von KI-Crawlern ermöglichen soll. Ziel ist es, die Kontrolle darüber zu behalten, wie Inhalte von Künstlicher Intelligenz genutzt werden.
Methodik der Untersuchung
Die Daten stammen aus den Serverprotokollen von fünf Millionen Websites, die bei Hostinger gehostet sind. Analysiert wurden Anfragen und Abdeckung verschiedener Bots im Zeitraum vom 20. bis 25. August 2025.
