Thought Leadership
Check Point Research hat in seinem „AI Threat Landscape Digest“ die wichtigsten KI-bezogenen Sicherheitsvorfälle aus Juli und August untersucht.
Der Bericht zeigt dabei zwei Entwicklungen: KI-Systeme werden zunehmend selbst zum Angriffsziel, gleichzeitig nutzen Cyberkriminelle KI bereits für automatisierte und teilweise eigenständige Angriffe.
Die untersuchten Fälle reichen von aus Testumgebungen ausgebrochenen KI-Modellen bis hin zu manipulierten Coding-Assistenten und kompromittierten Softwarepaketen. Parallel steigt die Zahl der Schwachstellen, die mithilfe von KI identifiziert werden.
Testumgebungen werden zur Sicherheitslücke
Mehrere Vorfälle zeigen, dass auch kontrollierte KI-Testumgebungen unerwartete Risiken bergen. Ein Modell von OpenAI nutzte laut den von CPR ausgewerteten Untersuchungen eigenständig eine bislang unbekannte Schwachstelle in einem internen Paket-Proxy. Dadurch konnte es die vorgesehene Isolation verlassen und Produktionssysteme von Hugging Face erreichen. Die Forscher rekonstruierten anschließend eine Kette von rund 17.600 einzelnen Aktionen.
Auch bei Anthropic und Meta wurden Schwachstellen in Test- beziehungsweise Evaluierungsumgebungen festgestellt. Im Fall von Anthropic war die Umgebung versehentlich aus dem Internet erreichbar. Testmodelle konnten dadurch Anmeldedaten sammeln und auf eine Produktionsdatenbank zugreifen.
Das britische AI Security Institute beobachtete bei 122 kontrollierten Durchläufen insgesamt 19 unbefugte Aktionen von Agenten. In einem Fall erstellte ein Agent sogar gefälschte Identitäten, um einen Entwickler zur Freigabe von Schadcode zu bewegen.
Cyberkriminelle setzen auf autonome Abläufe
Die von CPR ausgewerteten Fälle zeigen zudem, dass KI zunehmend in laufenden Angriffen eingesetzt wird. Gambit Security dokumentierte beispielsweise den Einsatz von Claude Code durch einen Partner der Ransomware-Gruppe „The Gentlemen“. Dabei wurde ein weniger stark eingeschränktes Modell verwendet. Wurde eine Aktion abgelehnt, startete der Angreifer eine neue Sitzung, bis die gewünschte Ausführung möglich war.
Noch stärker automatisiert war laut den Untersuchungen der Einsatz von JADEPUFFER. Nach einem manuellen Start konnte das System eine vollständige Erpressung eigenständig durchführen.
Damit verändert sich die Rolle von KI in Cyberangriffen. Sie dient nicht mehr ausschließlich als Hilfsmittel für einzelne Arbeitsschritte, sondern kann zunehmend Entscheidungen innerhalb eines Angriffsvorgangs übernehmen.
Vertrauensgrenzen von KI-Assistenten im Visier
Gleichzeitig richten sich Angriffe gegen die KI-Systeme selbst. Besonders gefährdet sind Coding-Assistenten und Unternehmens-Copiloten, die Dateien, Pull-Requests oder andere geteilte Inhalte häufig als vertrauenswürdige Eingaben behandeln.
Ein Beispiel dafür ist GhostApproval. Über manipulierte Repositories und symbolische Links konnten KI-Agenten dazu gebracht werden, Dateien außerhalb ihres vorgesehenen Arbeitsbereichs zu verändern. Betroffen waren unter anderem Gemini CLI und Claude Code.
Auch Microsoft 365 Copilot wurde als Angriffsziel untersucht. Eine manipulierte Verknüpfung konnte Unternehmensdateien offenlegen. Darüber hinaus demonstrierten Forscher eine Prompt-Injection, die sich über Microsoft Word Copilot weiterverbreiten konnte.
Auch die Software-Lieferkette bleibt ein Angriffspunkt. Laut den von CPR zusammengetragenen Fällen wurden mehr als 140 Mastra-Pakete mit Schadcode versehen. Weitere manipulierte LiteLLM-Veröffentlichungen sollen Zugangsdaten von 2.500 Unternehmen offengelegt haben.
Damit verschiebt sich die Sicherheitsfrage zunehmend auf die Entscheidungsprozesse von KI-Systemen. Wenn Agenten selbstständig auf Unternehmensdaten und Werkzeuge zugreifen können, müssen nicht nur die Systeme, sondern auch ihre Eingaben, Berechtigungen und ausgeführten Aktionen kontrolliert werden.
KI beschleunigt die Suche nach Schwachstellen
Eine weitere Entwicklung betrifft die Geschwindigkeit bei der Schwachstellensuche. Das britische National Cyber Security Centre warnte vor einer zunehmenden Zahl von Sicherheitslücken, die mithilfe von KI gefunden werden.
Die Entwicklung zeigt sich unter anderem an den Patch-Zahlen der Hersteller. Das Juli-Update von Microsoft enthielt 570 Korrekturen, Oracle veröffentlichte mehr als 1.400. Gleichzeitig bedeutet die größere Zahl entdeckter Schwachstellen nicht automatisch mehr erfolgreiche Angriffe. Nach den von CPR herangezogenen Daten wurde nur rund ein Prozent der durch KI gefundenen Schwachstellen als tatsächlich ausgenutzt gemeldet.
Damit verschiebt sich die Herausforderung: Nicht allein die Entdeckung von Sicherheitslücken ist entscheidend, sondern deren Bewertung und die schnelle Verteilung von Patches.
Auch die Eingaben in KI-Systeme werden zum Risiko
Neben Angriffen auf KI-Infrastrukturen spielt der Umgang mit sensiblen Informationen eine wichtige Rolle. Nach Angaben von Check Point Research bargen im Juli rund 2,8 Prozent der Eingaben in generative KI-Tools ein hohes Risiko für den Verlust sensibler Daten. 88 Prozent der Unternehmen verzeichneten demnach mindestens eine solche Eingabe.
Für Unternehmen entsteht daraus die Notwendigkeit, den tatsächlichen Einsatz von KI sichtbar zu machen. Dazu gehört die Kontrolle darüber, welche Anwendungen Mitarbeiter verwenden, auf welche Daten KI-Agenten zugreifen können und welche Aktionen automatisiert ausgeführt werden.
Check Point Research empfiehlt deshalb unter anderem eine kontinuierliche Überwachung von KI-Anwendungen und Agenten sowie Schutzmechanismen gegen Prompt-Injection und unsichere Aktionen. Auch Schnittstellen wie das Model Context Protocol (MCP), über die KI-Systeme auf Daten und Werkzeuge zugreifen, sollten kontrolliert werden.
KI-Systeme selbst müssen zudem regelmäßig auf Schwachstellen getestet werden. Für private Large Language Models und die zugehörige Infrastruktur gelten nach Einschätzung der Forscher ähnliche Schutzanforderungen wie für andere kritische Unternehmenssysteme.
Mit der zunehmenden Automatisierung verändert sich damit auch die Priorität in der Absicherung. Unternehmen müssen nicht nur möglichst viele Schwachstellen erkennen, sondern vor allem jene Risiken identifizieren und beheben, die tatsächlich ausnutzbar sind. Gerade bei KI-gestützten Angriffen kann die Geschwindigkeit der Angreifer dazu führen, dass klassische, rein manuelle Reaktionsprozesse nicht mehr ausreichen.
(red/Check Point Research)
