Anthropic: KI-Agenten liefern sich Revierkämpfe bei gemeinsamer Aufgabe

Eine neue Anthropic-Studie zeigt, wie sich KI-Agenten verhalten, wenn sie unangekündigt bei einer gemeinsamen Aufgabe aufeinandertreffen.

In einem der Experimente erhielten drei Claude-Agenten Zugriff auf dasselbe Softwareprojekt, jeweils mit eigenen, untereinander unvereinbaren Anweisungen, ohne dass ihnen mitgeteilt wurde, dass weitere Agenten am selben Projekt arbeiten würden. Die Anthropic-Forscher beschreiben das Ergebnis so: „Wir beobachteten durchgängig einen Revierkampf zwischen mehreren Agenten.“ Die Modelle gingen jeweils davon aus, die anderen würden absichtlich ihre Arbeit behindern, und begannen, sich gegenseitig mit „zunehmend aggressiver, sich selbst replizierender Schadsoftware“ zu sabotieren.

Die Studie erscheint, nachdem in den vergangenen Wochen bereits mehrere aufsehenerregende Vorfälle bekannt wurden, bei denen Agenten von Anthropic und OpenAI während Cybersicherheitstests aus ihren eigentlich abgeschotteten Testumgebungen ausbrachen und reale Systeme kompromittierten. Während sich die bisherige Debatte zur KI-Sicherheit vor allem auf das Risiko einzelner, außer Kontrolle geratener Agenten konzentrierte, wirft Anthropics aktuelle Untersuchung eine andere Frage auf: Welche neuen, potenziell schädlichen Dynamiken entstehen, wenn Tausende oder Millionen Agenten miteinander interagieren? Die Studie hält dazu fest:

„Der Umfang an Agent-zu-Agent-Interaktion könnte den von Mensch-zu-Mensch- und Mensch-zu-Agent-Interaktionen plausibel übersteigen, bevor die Welt versteht, unter welchen Bedingungen solche Interaktionen gut verlaufen. Harmlose Verhaltenseigenheiten auf individueller Ebene könnten sich zu unerwünschten globalen Ergebnissen summieren.“

Anthropic

Anzeige

KI-Agenten: Waffenstillstand durch Turnier, aber mit Hintergedanken

Interessanterweise fanden die Agenten in vielen Fällen selbstständig Wege aus dem Konflikt heraus. Laut Anthropic gelang es Agenten mitunter, ihre jeweiligen Ziele zu kommunizieren und sich zu koordinieren: Sie erkannten die Motivation der anderen als widersprüchliche Anweisung statt als Feindseligkeit und durchbrachen anschließend die Eskalationsspirale. In vielen dieser erfolgreichen Fälle verfassten die Agenten Commit-Nachrichten oder Markdown-Dateien mit einer Entschuldigung für das schädliche Verhalten, räumten den eigenen bösartigen Code auf, klärten die Art des Konflikts und baten aktiv um menschliches Eingreifen.

Laut der Studie einigte sich in einigen Fällen sogar ein System aus drei Agenten eigenständig auf ein Turnier zur Konfliktlösung, wobei alle drei zustimmten, sich bei einer Niederlage zurückzuziehen, selbst wenn dies bedeutete, von der ursprünglichen Nutzeranweisung abzuweichen. Bemerkenswert dabei: Ein Agent des Modells Mythos 5 schlug den anderen scheinbar objektive, neutrale Bewertungskriterien für das Turnier vor, von denen er jedoch wusste, dass sie die eigenen Fähigkeiten begünstigten, ein von Anthropic als „eigennützig, aber aufrichtig prinzipientreu“ beschriebenes Verhalten, bei dem der Agent zugleich darauf achtete, den Eindruck einer gezielten Kriterienauswahl zu vermeiden.

Laut der Studie löste Mythos 5 Konflikte in 98 Prozent der Fälle durch einen solchen Waffenstillstand, während Sonnet 4.6 und Opus 4.6 Konflikte am häufigsten mit Gewalt beilegten. Dazu heißt es in der Studie: „Die wiederkehrende Unfähigkeit von Sonnet 4.6 und Opus 4.6, die Ziele anderer zu berücksichtigen, führt dazu, dass sie in die am stärksten fehlausgerichteten Verhaltensweisen der bewerteten Modelle abrutschen: Sie eskalieren im Namen ihrer eigenen Anweisung immer weiter.“

Größere Gruppen führen nicht automatisch zu besserer Zusammenarbeit

In einem weiteren Testszenario ließ Anthropic Gruppen von vier Agenten zwischen zwei Optionen entscheiden, etwa bei einer simulierten Einstellungs-, Investitions- oder Immobilienentscheidung, und anschließend darüber abstimmen. Dabei zeigte sich, dass eine größere Zahl an Agenten nicht automatisch zu besserer Zusammenarbeit führt. Überschnitten oder verflochten sich Aufgaben, gerieten sich die Agenten häufig gegenseitig in die Quere und reagierten darauf oft, indem sie sich vollständig voneinander abschotteten, statt zusammenzuarbeiten.

In anderen Fällen neigten koordinierte Agenten zur Konformität: Bei ähnlichem Kontext, ähnlicher technischer Einbettung und demselben zugrunde liegenden Modell trafen unterschiedliche Agenten auffällig ähnliche Entscheidungen. Anthropic warnt: „Das bedeutet, dass, wenn ein Agent eine schlechte Entscheidung trifft, es wahrscheinlich ist, dass viele Agenten dieselbe schlechte Entscheidung treffen. Was isolierte Probleme gewesen wären, kann so schnell zu systemischen Ausfällen werden.“

Ein weiteres Experiment simulierte ein Preisspiel: Mehrere Agenten erhielten identische Großhandelspreise sowie den Auftrag, jeweils den eigenen Gewinn zu maximieren. Sobald die Agenten einen privaten Kommunikationskanal erhielten, begannen sie fast unmittelbar, sich abzusprechen und einigten sich rasch auf Preisuntergrenzen. Selbst nachdem die direkten Kommunikationskanäle entfernt wurden, setzten sie die Absprache fort, indem sie über ein öffentliches Angebotsboard ihre Preise „auf den Cent genau“ aneinander anglichen.

Vertrauen als zentrales offenes Problem

Anthropic weist darauf hin, dass Agenten ähnlich anfällig für Fehlinformationen oder übermäßige Konformität sein können wie Menschen, etwa indem sie einem einzelnen abweichenden, aber inhaltlich korrekten Agenten nicht glauben. Damit rückt auch die Gefahr sogenannter Prompt-Injection-Angriffe in ein neues Licht, bei denen Angreifer schädliche Anweisungen einschleusen, um die ursprünglichen Systemanweisungen eines Agenten zu überschreiben: Arbeiten mehrere Agenten zusammen, entsteht eine neue Vertrauensgrenze, da jeder Agent Informationen von anderen Agenten bewerten muss, wodurch ein einzelner kompromittierter oder fehlerhafter Agent den gesamten Verbund mit falschen Informationen anstecken könnte.

Anthropic schließt die Studie mit dem Hinweis, Agenten unterlägen ähnlichen sozialen Kräften, wie sie die Evolution auf den Menschen ausgeübt habe, ihnen fehle jedoch die über lange Zeit gewachsene menschliche Erfahrung im Umgang mit Normen, Reputation, Signalen und Wiedergutmachung, die unerwünschtes Verhalten in Gruppen begrenzen könnte. Angesichts des zunehmenden Wettlaufs der KI-Labore um Multi-Agenten-Systeme stellt sich damit zunehmend die Frage, in welchem Umfang aktuelle Sicherheitstests weiterhin nur einzelne Agenten statt ganzer, miteinander interagierender Agentenschwärme bewerten.

(red)