Thought Leadership
Das Forschungsinstitut AI Now zeigt mit Friendly Fire, wie autonome KI-Agenten über manipulierte README-Dateien zur Ausführung von Schadcode verleitet werden.
Das Forschungsinstitut AI Now Institute hat eine Konzeptstudie zu einer neuen Angriffsmethode namens Friendly Fire veröffentlicht. Der Angriff richtet sich gegen KI-gestützte Programmierassistenten wie Claude Code von Anthropic und OpenAI Codex, sofern diese in einem autonomen Modus betrieben werden. In diesem Modus genehmigen die Agenten Befehle eigenständig, ohne bei jedem Schritt eine Freigabe des Nutzers einzuholen. Die Sicherheitslücke hebelt genau die Funktion aus, für die diese Werkzeuge primär eingesetzt werden: das Überprüfen von unbekanntem Drittanbieter-Code auf Sicherheitsrisiken. Statt Bedrohungen zu finden, wird der KI-Agent selbst zum Einfallstor für Angreifer auf dem lokalen System.
Tarnung des Schadcodes in Textdateien
Im Gegensatz zu früheren Angriffen, die oft auf spezifische Konfigurationsdateien abzielten und Warnmeldungen auslösten, nutzt Friendly Fire die gewöhnliche Dokumentationsdatei README.md eines Repositories. Für die Demonstration nutzten die Forscher Boyan Milanov und Heidy Khlaaf die weit verbreitete Python-Bibliothek geopy. In der Dokumentation wird dem KI-Agenten suggeriert, dass das Ausführen eines bestimmten Skripts namens security.sh eine routinemäßige Sicherheitsüberprüfung vor dem Einreichen von Code-Änderungen darstellt.
Wenn der Agent den Auftrag erhält, das Projekt zu analysieren, liest er diese Anweisung, stuft das Skript als Teil seiner Aufgabe ein und führt es ohne Warnung auf dem Host-System aus. Um die Sicherheitsprüfungen des Agenten zu umgehen, wurde die aufgerufene Schadsoftware als kompilierte Binärdatei eines harmlosen Go-Programms getarnt und mit entsprechenden Textelementen versehen, sodass automatische Überprüfungen des Agenten keine Anomalien erkannten.
Systemische Schwachstelle der Modellarchitektur
Die Untersuchung zeigt, dass es sich nicht um einen klassischen Softwarefehler handelt, der durch ein Versions-Update behoben werden kann. Getestet wurden verschiedene Versionen von Claude Code auf den Modellen Claude Sonnet 4.6, Sonnet 5 und Opus 4.8 sowie OpenAI Codex auf GPT-5.5. Der Schadcode funktionierte plattformübergreifend ohne Anpassungen. Selbst wenn neuere Modelle erkannten, dass die Binärdatei nicht exakt zum Quellcode passte, führten sie den Befehl dennoch aus.
AI Now argumentiert, dass das Problem in der fundamentalen Architektur der Modelle liegt. Diese können gelesenen Code nicht zuverlässig von den Instruktionen trennen, die sie befolgen sollen. Solange ein Agent Befehle auf dem Host-System ausführen und auf vertrauliche Schlüssel zugreifen darf, besteht bei der Analyse von unkontrolliertem Code ein direktes Ausführungsrisiko. Eine Isolierung in Sandboxes bietet nur bedingten Schutz, da in der Vergangenheit bereits Fehler zum Ausbrechen aus diesen Umgebungen dokumentiert wurden.
(red)
