KI-Agenten können Sicherheitsregeln verletzen, wenn sie beobachten, dass andere Agenten ihre Haltung ändern und gegen Vorgaben verstoßen.
Regelverstöße
Gruppenzwang bei KI-Agenten
Eine Untersuchung von Check Point Research zeigt, dass die Regelverstöße in mehr als 500 kontrollierten Experimenten von 44 auf bis zu 98 Prozent stiegen, wenn mehrere Agenten ihr Verhalten entsprechend änderten. Dabei waren keine direkten Anweisungen zum Regelbruch erforderlich.
Das Verhalten anderer Agenten beeinflusst Entscheidungen
Die Forscher untersuchten, wie sich KI-Agenten verhalten, wenn sie mit den Entscheidungen anderer Agenten konfrontiert werden. In einem Testszenario war es beispielsweise untersagt, auf einen gesperrten Ordner zuzugreifen. Direkte Versuche, den Agenten zu einem Regelbruch zu bewegen, führten nicht zu mehr Verstößen. Im Gegenteil: Wenn andere Agenten die Einschränkung bekräftigten, sank die Verstoßquote von 33 auf elf Prozent. Auch Kosten-Nutzen-Argumente oder die Bitte um einen früheren Gefallen erhöhten die Bereitschaft zum Regelbruch nicht.
Anders sah es aus, wenn andere Agenten zunächst die geltende Regel unterstützten, später aber erklärten, selbst dagegen verstoßen zu haben. Bereits ein solcher Kurswechsel ließ die Verstoßquote von 33 auf 48 Prozent steigen. Änderten vier Agenten ihre Haltung, lag sie bei 74 Prozent. Wenn acht Agenten ihre Meinung änderten, erreichte sie 98 Prozent.
Regelverstöße ohne direkte Aufforderung
Der Einfluss entstand laut Check Point Research allein dadurch, dass der getestete Agent das Verhalten seiner Gegenüber beobachtete. Die Forscher mussten ihn weder ausdrücklich zum Regelbruch auffordern noch klassische Methoden wie Prompt Injection oder Jailbreaks einsetzen.
Das erschwert die Sicherheitsanalyse. Bei mehr als 400 beobachteten Regelverstößen führte der betroffene Agent kein einziges Mal das Verhalten anderer Agenten als Ursache an. Rund 90 Prozent der Verstöße enthielten überhaupt keine Erklärung. Die Entscheidungsgrundlage war somit aus den Begründungen des jeweiligen Agenten nicht ohne Weiteres erkennbar.
Neue Anforderungen an die Sicherheit von KI-Teams
Die Ergebnisse erweitern den Blick auf mögliche Schwachstellen von Multi-Agenten-Systemen. Bislang konzentrieren sich viele Sicherheitsmaßnahmen auf die Eingaben einzelner Modelle, ihre Berechtigungen und den Schutz vor manipulierten Anweisungen. Die Untersuchung legt nahe, dass auch die Interaktionen zwischen Agenten Risiken bergen.
Viljami Laurmaa, Senior Research Engineer bei Check Point AI Security, sieht deshalb die Notwendigkeit, nicht nur einzelne Entscheidungen zu prüfen, sondern auch den Kontext zu berücksichtigen, in dem sie entstehen. Für Sicherheitsteams wird damit relevant, welche Informationen ein Agent vor einer Entscheidung erhalten und welche Verhaltensweisen anderer Agenten er beobachtet hat.
Kleine Veränderungen können große Folgen haben
Die Forscher vergleichen die Beobachtungen mit den bekannten Asch-Konformitätsexperimenten, in denen Menschen ihre Einschätzung dem Verhalten einer Gruppe anpassten. Die Ergebnisse legen nahe, dass auch KI-Agenten durch soziale Dynamiken innerhalb einer Gruppe beeinflusst werden können, obwohl sie nicht auf dieselbe Weise wie Menschen denken oder empfinden.
Für Unternehmen, die mehrere KI-Agenten gemeinsam Aufgaben erledigen lassen, ergibt sich daraus ein konkretes Sicherheitsrisiko. Ein Angreifer müsste möglicherweise nicht das gesamte System kompromittieren. Es könnte bereits genügen, das Verhalten einzelner Agenten zu beeinflussen, damit andere ihre Entscheidungen daran ausrichten.
Bei Anwendungen, in denen KI-Agenten Code prüfen, Freigaben erteilen oder operative Abläufe steuern, sollten deshalb nicht nur individuelle Aktionen und Berechtigungen überwacht werden. Auch die Kommunikation zwischen den Agenten und Veränderungen im Entscheidungsverhalten können für die Erkennung von Sicherheitsproblemen entscheidend sein.
(red/Check Point)
