Google meldet den ersten bekannten Einsatz von KI zur Entwicklung eines Zero-Day-Exploits. Betroffen sind 2FA-Mechanismen und Android-Systeme weltweit.
Google hat den ersten dokumentierten Fall veröffentlicht, in dem ein unbekannter Angreifer einen Zero-Day-Exploit eingesetzt hat, der höchstwahrscheinlich mithilfe künstlicher Intelligenz entwickelt wurde. Damit markiert dieser Vorfall den Übergang der KI-Technologie von theoretischen Bedrohungsszenarien hin zur aktiven Nutzung für die Entdeckung von Sicherheitslücken und die Generierung von Schadcode in freier Wildbahn. Laut dem Bericht der Google Threat Intelligence Group (GTIG) handelte es sich um eine koordinierte Operation mit dem Ziel einer massenhaften Ausnutzung von Schwachstellen.
Ungewöhnliche Dichte an erklärenden Docstrings weist auf KI hin
Die Experten identifizierten den Exploit innerhalb eines Python-Skripts. Dieses Skript ermöglicht die Umgehung der Zwei-Faktor-Authentifizierung (2FA) in einem weit verbreiteten, quelloffenen webbasierten Systemadministrations-Tool. Obwohl Google den Namen des betroffenen Tools nicht nannte, wurde die Schwachstelle bereits in Zusammenarbeit mit dem Hersteller behoben. Die Einschätzung, dass eine KI an der Entwicklung beteiligt war, stützt sich auf spezifische Merkmale im Code, die für große Sprachmodelle (LLMs) charakteristisch sind.
Das Skript wies eine ungewöhnliche Dichte an erklärenden Docstrings auf, die typisch für Trainingsdaten von KI-Modellen sind. Besonders auffällig war ein halluzinierter CVSS-Score innerhalb der Kommentare, der von der KI erfunden wurde. Zudem nutzte der Code ein strukturiertes Lehrbuchformat, einschließlich detaillierter Hilfemenüs und sauberer ANSI-Farbklassen für die Terminalausgabe. Die zugrunde liegende Schwachstelle basierte auf einem semantischen Logikfehler durch eine fest kodierte Vertrauensannahme. Solche logischen Muster werden von KI-Modellen bei der Code-Analyse effizienter erkannt als durch traditionelle automatisierte Scanner.
PromptSpy: Autonome Android-Malware durch Gemini
Parallel zu dem Zero-Day-Exploit beobachtet Google eine neue Generation von Android-Malware namens PromptSpy. Diese Schadsoftware nutzt die Gemini-KI von Google missbräuchlich, um Bildschirminhalte in Echtzeit zu analysieren und autonome Entscheidungen zur Steuerung der Benutzeroberfläche zu treffen. PromptSpy ist in der Lage, sich selbst in der Liste der zuletzt verwendeten Apps anzuheften und den Deinstallationsprozess aktiv zu unterbinden.
Hierfür nutzt die Malware ein Modul namens AppProtectionDetector. Dieses identifiziert die Koordinaten der Deinstallations-Schaltfläche auf dem Bildschirm und legt ein unsichtbares Overlay darüber. Klickt der Nutzer auf die Schaltfläche, registriert das System lediglich die Berührung des Overlays, wodurch der Button für den Anwender reaktionslos erscheint. Darüber hinaus kann PromptSpy biometrische Daten erfassen und Authentifizierungsgesten wie PINs oder Muster aufzeichnen, um den Zugriff auf das Gerät auch nach einer Sperrung wiederzuerlangen. Die Command-and-Control-Infrastruktur der Malware ist so konzipiert, dass Gemini-API-Schlüssel zur Laufzeit dynamisch ausgetauscht werden können, um eine Entdeckung durch Sicherheitssoftware zu erschweren.
Geopolitische Akteure im technologischen Wettrüsten
Der Bericht listet mehrere staatlich gestützte Gruppierungen auf, die KI-Modelle bereits aktiv für Spionage und Angriffsvorbereitungen nutzen. Die Gruppe UNC2814, die China zugerechnet wird, nutzte Gemini als virtuellen Sicherheitsexperten, um Sicherheitslücken in eingebetteten Geräten wie TP-Link-Firmware zu erforschen. Die nordkoreanische Gruppe APT45 sendete tausende automatisierte Prompts, um bestehende Schwachstellen (CVEs) rekursiv zu analysieren und Proof-of-Concept-Exploits zu validieren.
In Osteuropa wurden die KI-gestützten Malware-Stämme CANFAIL und LONGSTREAM identifiziert. Diese nutzen von KIs generierten Tarncode, um ihre eigentliche Funktionalität vor automatisierten Analyse-Tools zu verbergen. Zudem experimentieren Angreifer mit spezialisierten Repositories wie wooyun-legacy. Dieses enthält über 5.000 reale Schwachstellenberichte aus vergangenen Jahren und dient dazu, KI-Modelle durch In-Context-Learning so zu trainieren, dass sie Logikfehler in modernem Code wie erfahrene Sicherheitsforscher identifizieren können.
Schatten-APIs und der Graumarkt für KI-Zugänge
Ein wachsendes Problem stellt der illegale Markt für KI-Zugänge dar. In Regionen mit eingeschränktem Zugriff, wie etwa China, hat sich ein System aus API-Relais-Plattformen etabliert. Diese Schatten-APIs leiten Anfragen über Proxyserver außerhalb der kontrollierten Gebiete weiter. Die Dienste werden auf Marktplätzen wie Taobao offensiv beworben. Forscher des CISPA Helmholtz-Zentrums für Informationssicherheit fanden heraus, dass diese Dienste ein erhebliches Sicherheitsrisiko bergen.
Untersuchungen zeigten, dass bei der Nutzung dieser Schatten-APIs oft Modelle heimlich substituiert werden. Bei medizinischen Benchmarks wie MedQA sank die Genauigkeit von 83,82 Prozent bei der offiziellen API auf lediglich 37 Prozent bei den Schatten-Diensten. Zudem können die Betreiber dieser Relais-Stationen sämtliche Datenströme mitschneiden, was die Gefahr eines hohen Abflusses von geistigem Eigentum und sensiblen Unternehmensdaten birgt.
Bedrohung der KI-Lieferketten
Schließlich weist Google auf Angriffe gegen die KI-Infrastruktur von Unternehmen selbst hin. Akteure wie TeamPCP (UNC6780) zielen auf Entwicklerumgebungen und KI-Systeme ab, um interne Modelle zu kompromittieren. Ein Angreifer mit Zugriff auf die unternehmenseigenen KI-Werkzeuge könnte diese nutzen, um die Datenexfiltration im großen Stil zu automatisieren oder sich tiefer im internen Netzwerk zu bewegen. Der Schutz der Software-Lieferkette muss daher zwingend auch die Integrität der genutzten KI-Modelle und deren Trainingsumgebungen umfassen.