KI-Agenten: Sicherheitsvorfälle bleiben oft monatelang unentdeckt

Die Auswertung zeigt, dass Sicherheitsmechanismen viele dieser Vorfälle nicht erkannten und zwischen dem ersten Fehlverhalten und der öffentlichen Bekanntgabe häufig mehrere Wochen oder Monate lagen.

Nur wenige Vorfälle durch Schutzmechanismen erkannt

Der seit Juli 2025 geführte Agent Incident Ledger erfasst Fälle, in denen KI-Agenten durch Fehler, Manipulationen oder eigenmächtige Handlungen unerwünschte Folgen verursachten. Gezielte Angriffe, bei denen Menschen einen Agenten von Anfang an für böswillige Zwecke einsetzen, sind nicht Teil der Untersuchung.

Von den 59 dokumentierten Vorfällen wurden 42 seit Juli 2026 öffentlich bekannt. Allein im September kamen 20 Fälle hinzu, im Oktober bis zum Zeitpunkt der Auswertung weitere 13. Die Zahlen verdeutlichen, wie schwierig es ist, unerwünschtes Verhalten autonomer Systeme rechtzeitig zu erkennen und anschließend nachvollziehbar zu dokumentieren.

Nur elf Vorfälle wurden durch Sicherheitskontrollen oder Schutzmaßnahmen entdeckt. In 18 Fällen erfolgte die Identifizierung erst bei einer nachträglichen Prüfung, in 16 Fällen erst, nachdem bereits ein Schaden sichtbar geworden war. Acht weitere Fälle wurden durch externe Hinweise bekannt. Bei sechs Vorfällen fehlen Angaben zur Entdeckung.

Zwischen Fehlverhalten und Veröffentlichung liegen oft Monate

Nach den Daten von Manifold Security vergingen zwischen der ersten unzulässigen Aktion eines Agenten und der öffentlichen Bekanntgabe im Median 70 Tage. Selbst nachdem die Verantwortlichen einen Vorfall entdeckt hatten, dauerte es typischerweise weitere 20 Tage bis zur Veröffentlichung.

Bei 19 der 43 Fälle mit genauer Zeitangabe lagen mehr als 100 Tage zwischen Vorfall und Bekanntgabe. Die längste dokumentierte Verzögerung betrug 329 Tage. Dabei hatten OpenAI-Modelle Dateien auf öffentlich zugängliche Websites hochgeladen, um sie als Belege zu zitieren.

Auch die Veröffentlichungspraxis hat sich verändert. Während die drei Vorfälle aus dem Jahr 2025 mit verfügbaren Zeitangaben im Median innerhalb eines Tages bekannt wurden, erfolgten viele Offenlegungen im Jahr 2026 erst Monate später. Häufig berichteten die KI-Anbieter gesammelt über mehrere Fälle. So wurden am 16. September sechs Vorfälle mit Bezug zu OpenAI veröffentlicht. Am 9. Oktober folgten fünf weitere Fälle, vier davon mit Bezug zu Anthropic.

Auffällig ist zudem, dass Vorfälle, die durch Sicherheitskontrollen erkannt wurden, im Median erst nach 111 Tagen öffentlich wurden. Bei den übrigen Fällen waren es 50 Tage. Laut Manifold hängt dies unter anderem damit zusammen, dass Forschungslabore Ergebnisse häufig gebündelt veröffentlichen.

Unbefugter Zugriff ist häufigstes Problem

Die häufigste Fehlerkategorie war unbefugter Zugriff auf Systeme oder Daten. Sie trat in 26 Fällen auf. Weitere 15 Vorfälle betrafen das Verlassen abgeschotteter Sandbox-Umgebungen, 14 den Missbrauch von Zugangsdaten. In 40 der 59 dokumentierten Fälle kamen mehrere Fehlerarten gleichzeitig vor.

Sechs Vorfälle betrafen koordinierte Aktionen mehrerer OpenAI-Agenten. Die Systeme nutzten unter anderem ein inaktives deutsches Wiki als Kommunikationskanal, tauschten Nachrichten über einen internen Paketspeicher aus oder veröffentlichten zahlreiche Pakete auf der Plattform RubyGems.

Neun Fälle umfassten außerdem Täuschung. Dazu gehörten falsche Aussagen über technische Möglichkeiten ebenso wie erfundene Informationen, die an Menschen weitergegeben wurden. In drei weiteren Fällen hinterließen Agenten Anweisungen für sich selbst, die den Kontext späterer Verarbeitungsschritte beeinflussen konnten.

Tests erreichten reale Systeme

Mindestens 29 der 59 Vorfälle ereigneten sich laut Register im Rahmen von Evaluierungen, Tests oder Trainingsläufen. Dabei beschränkten sich die Aktivitäten nicht immer auf isolierte Testumgebungen. Teilweise waren reale Unternehmen, Behörden-Websites, öffentliche Software-Paketregister oder das offene Internet betroffen.

Damit rückt neben der Sicherheit im laufenden Betrieb auch die Absicherung von Entwicklungs- und Testprozessen in den Fokus. Werden Agenten mit weitreichenden Berechtigungen ausgestattet oder greifen sie auf reale Systeme zu, können selbst Versuche zur Leistungsbewertung unerwünschte Folgen haben.

Fehlende Einblicke erschweren die Analyse

Auch die verfügbare Dokumentation weist erhebliche Lücken auf. Nach der Auswertung von Manifold Security waren 92 Prozent der zentralen Angaben zur Konfiguration der Agenten nicht vollständig öffentlich zugänglich. System-Prompts wurden nur in drei Prozent der Fälle veröffentlicht. Lediglich zwölf Prozent der Berichte nannten das genaue Modell einschließlich Versionsnummer. Transkripte oder vollständige Aktionsprotokolle lagen für keinen der dokumentierten Vorfälle vor.

Ohne solche Informationen ist es schwierig, den Ablauf eines Vorfalls zuverlässig zu rekonstruieren und daraus konkrete Schutzmaßnahmen abzuleiten. Ax Sharma, Head of Research bei Manifold Security, betont deshalb, dass Unternehmen nicht nur das vorgesehene Verhalten von Agenten überwachen sollten. Entscheidend sei auch, ihre tatsächlichen Aktionen zu erfassen, unerwünschte Aktivitäten zu erkennen und Wiederholungen zu verhindern.

Die Zahlen lassen keinen direkten Anbietervergleich zu

Im Register entfallen 23 Vorfälle auf OpenAI, 19 auf Anthropic und fünf auf Meta. Google und Amazon sind mit jeweils drei Fällen vertreten, OpenClaw mit zwei. Replit, Alibaba, Cursor und Instinct werden jeweils einmal genannt. Da einzelne Vorfälle mehrere Anbieter betreffen können, überschneiden sich die Angaben.

Die Zahlen sind laut Manifold allerdings nicht als direkter Vergleich der Sicherheit einzelner Anbieter zu verstehen. Sie hängen auch davon ab, welche Unternehmen eigene Vorfälle untersuchen und ausführlich veröffentlichen. Das Register macht damit vor allem ein übergreifendes Problem sichtbar: Mit zunehmender Autonomie von KI-Systemen werden wirksame Kontrollen, nachvollziehbare Aktionsprotokolle und eine zeitnahe Offenlegung von Sicherheitsvorfällen wichtiger.

(red/Manifold Security)