Nur elf von 100 KI-Agenten sind sicher

Eine Untersuchung von Adversa AI zeigt erhebliche Sicherheitsmängel bei KI-Agenten: Von 100 getesteten Systemen gelten nur elf als ausreichend geschützt.

Das Sicherheitsunternehmen Adversa AI hat in einer großangelegten Untersuchung die Sicherheit und Leistungsfähigkeit von 100 autonomen KI-Agenten analysiert. Die Ergebnisse wurden in einem Sicherheitsbericht zusammengefasst. Demnach erfüllen lediglich elf der 100 untersuchten Agenten das Kriterium, gleichzeitig leistungsfähig und gut gegen Angriffe geschützt zu sein.

Als fundamentale Ursache für die weitverbreiteten Mängel identifizieren die Analysten eine strukturelle Dreifachbedrohung, bestehend aus dem Zugriff auf private Daten, dem Kontakt mit unvertrauenswürdigen Inhalten und der Autorisierung für ausgehende Aktionen. Diese Kombination führt in der Praxis zu einem Ungleichgewicht aus zu großer Systemmacht, hohem Vertrauen und mangelnden Kontrollmechanismen. Rund 98 Prozent der getesteten Systeme weisen diese Konstellation auf. Die Untersuchung umfasste insgesamt zehn verschiedene Kategorien von Agenten:

• Allgemeine Assistenten und Arbeitsplatz-Copiloten
• Browser- und Konversationssysteme
• Maßgeschneiderte Workflows und Geschäftsprozesse
• Plattformbetrieb und Datentechnik
• Computer- und Programmieragenten

Adversa AI spricht in dem Bericht von einer Umkehrung von Leistung und Schutz: „Dieselben Anbieter, die die leistungsfähigsten Agenten ausliefern, liefern auch die größte Angriffsfläche – ein strukturelles Merkmal des Marktes, nicht eine Handvoll Ausreißer.“

Sicherheitsrisiken bei Computer- und Programmierassistenten

Besonders stark ausgeprägt ist dieses Missverhältnis bei den Kategorien der Computer- und Coding-Agenten. Computer-Agenten sind darauf ausgelegt, spezifische Entscheidungen oder Aktionen direkt auf dem Betriebssystem des Nutzers auszuführen. Um funktionsfähig zu sein, erhalten diese Systeme umfassende Zugriffsrechte auf das gesamte Betriebssystem. Ein Erfolg bei einem Angriff ermöglicht dem Angreifer somit die Kontrolle über den vollständigen Rechner statt nur über eine einzelne Anwendung.

Ein zentrales Problem ist die mangelnde Sichtbarkeit der internen Prozesse für den Anwender. Der Nutzer sieht lediglich die Aufgabe und das Ergebnis, nicht aber die dazwischen liegenden Schritte. Selbst integrierte Bestätigungsfenster bieten keinen verlässlichen Schutz, da Menschen und KI-Modelle auf unterschiedlichen Abstraktionsebenen operieren, was eine Fehlinterpretation der tatsächlichen Systemaktionen begünstigt.

Coding-Agenten berühren ebenfalls kritische Bereiche der Software-Lieferkette. Sie beschränken sich nicht auf das bloße Vorschlagen von Programmcode, sondern greifen direkt auf Shell-Befehle, Abhängigkeiten und Autorisierungs-Token zu. Herkömmliche Code-Reviews am Ende des Prozesses erweisen sich als unvollständige Verteidigung, da der Agent bereits vor der Überprüfung sensible Geheimnisse ausgelesen, Tests gegen Produktionsdienste ausgeführt oder Konfigurationen manipuliert haben kann. Die Ausführung von Werkzeugen macht laut dem Bericht 76 Prozent des potenziellen Schadensradius aus. Zudem sind 83 Prozent der von den Herstellern behaupteten Schutzmaßnahmen nicht öffentlich überprüfbar.

Strategische Fokusverschiebung auf die Ausgabekontrolle bei KI-Agenten

Da eine Manipulation der Eingabebefehle (Prompt Injection) aufgrund des nicht-deterministischen Charakters von KI-Modellen nicht dauerhaft oder technisch zuverlässig verhindert werden kann, empfiehlt die Analyse eine strategische Verschiebung des Sicherheitskonzepts. Unternehmen können die Eingabe-Schnittstelle nicht vollständig absichern, da Systemanbieter einräumen, dass es dafür keine deterministische Lösung gibt.

Das Sicherheitsbudget sollte daher primär auf die Kontrollmechanismen an den Ausgabepunkten verwendet werden. Konkrete Schutzmaßnahmen umfassen die strikte Überwachung des Datenabflusses (Egress), eine restriktive Identitäts- und Rechteverwaltung sowie die lückenlose Kontrolle irreversibler Systemaktionen, um Schäden durch kompromittierte Agenten proaktiv zu minimieren.

(red)