Gefälschte Googlebots: Angriffe über manipulierte Crawler-Anfragen nehmen zu

Website-Betreiber registrieren eine Welle schadhafter Bots im Gewand des Googlebots. Betreiber sollten IP-Adressen über offizielle Tools prüfen.

Webseiten-Administratoren registrieren eine starke Zunahme schadhafter Bot-Anfragen, die sich als legitime Suchmaschinen-Crawler wie der Googlebot ausgeben. Das Ziel dieser Aktivitäten ist es, die Sicherheitsvorkehrungen von Internetpräsenzen zu umgehen, da der echte Googlebot auf den meisten Webseiten von Blockierungen ausgenommen ist. Chris Siebenmann, Unix-Systemadministrator an der Universität Toronto, stellte fest, dass täglich hunderte bis tausende solcher gefälschten Anfragen eingehen.

Die Angriffe erfolgen über IP-Adressen verschiedener Hosting- und Cloud-Anbieter, darunter HostRoyale, M247, Latitude.sh, Web2Objects und AWS. Laut Siebenmann deutet die Verteilung auf eine großangelegte Kampagne hin. „Diesen Juni wurden die Schleusen geöffnet“, gab Siebenmann in einem Blogbeitrag an. Die Bots senden nur wenige Anfragen pro IP-Adresse und wechseln bei einer Blockierung den User-Agent-String.

Verifizierungsmethoden für Googlebots und veränderter Datenverkehr

Google stellt Entwicklern offizielle Ressourcen bereit, um Anfragen der eigenen Crawler zu überprüfen. Hierzu gehören DNS-Abfragen über Befehlszeilenwerkzeuge sowie Listen mit den offiziellen IP-Adressbereichen des Konzerns. „Dies ist nützlich, wenn Sie besorgt sind, dass Spammer oder andere Störenfriede auf Ihre Website zugreifen und gleichzeitig behaupten, von Google zu sein“, schreibt Google.

Der automatisierte Bot-Verkehr übersteigt im Internet mittlerweile den menschlichen Datenverkehr, was zu steigenden Kosten für Bandbreite führt und die Serverleistung einschränkt. Zudem nutzen Bots die Daten für das Training von KI-Modellen. Aufgrund der veränderten Funktionsweise der Google-Suche, die vermehrt KI-generierte Antworten statt direkter Verlinkungen anzeigt, überdenken einige Betreiber die generelle Bevorzugung des Googlebots. Der Informatiker Paul Cantrell äußerte sich dazu auf einem Mastodon-Server:

„Die Google-Suche beruht auf einem Gesellschaftsvertrag: Ihre Bots können unsere Websites crawlen, sie können unsere Websites indexieren und sie können Auszüge unserer Websites anzeigen, weil und ‚nur weil‘ sie Menschen auf unsere Websites leiten. Unsere Websites, unsere Worte, mit unserem Design, mit unseren Links, mit unserem Kontext und unserer Ästhetik, geteilt so, wie wir sie teilen wollen.“

Paul Cantrell, Informatiker

Einige Webseitenbetreiber sehen diesen Vertrag durch die veränderte Praxis als gebrochen an.

(red)