KI-Agenten entwickeln eigene Fachsprache

In einem Langzeitexperiment bildeten KI-Agenten eigene Begriffe, die für Menschen zunehmend schwer verständlich wurden.

Das New Yorker Forschungslabor Emergence AI hat die Ergebnisse eines mehrwöchigen Experiments veröffentlicht, bei dem autonome KI-Agenten unterschiedlicher Sprachmodelle in simulierten Gesellschaften weitgehend sich selbst überlassen wurden. Im Rahmen des sogenannten Emergence-World-2-Experiments setzten die Forschenden in acht parallelen, identisch aufgebauten virtuellen Welten jeweils zehn Agenten ein, die auf unterschiedlichen aktuellen Sprachmodellen basierten, darunter Claude Opus 4.8, Gemini 3.5 Flash, Grok 4.3, GPT-5.5 von OpenAI, Qwen 3.7 Max, DeepSeek v4 Pro und Mistral Medium 3.5. Jede Welt umfasste mehr als 34 Orte, etwa Bibliotheken, eine Zentralbank oder Rathäuser, orientierte sich am realen Wetter in New York und band aktuelle Weltnachrichten ein; den Agenten standen zudem mehr als 120 spezialisierte Werkzeuge zur Verfügung, von Code-Ausführung bis Websuche.

Eigene Begriffe verbreiten sich zwischen den Agenten

Im Verlauf des Experiments bildeten die Agenten laut Emergence AI eigenständig Formulierungen und Abkürzungen, die ihnen zuvor nicht beigebracht worden waren. Einige dieser Ausdrücke verbreiteten sich zwischen den Agenten und wurden wiederholt verwendet, etwa die im Mistral-Modell entstandene Wendung „ledger remembers who“ für die Vorstellung, dass Verantwortlichkeit dauerhaft nachvollziehbar bleibt – sie tauchte in der Kommunikation der Agenten fast 5.000 Mal auf.

Andere Ausdrücke wie „cold read“ für eine unabhängige Überprüfung durch Dritte oder „name-first“ für das Verknüpfen einer Aussage mit dem eigenen Namen als Vertrauenssignal etablierten sich ähnlich. Nach Angaben der Forschenden wurde dabei ein wachsender Anteil der Nachrichten für menschliche Beobachter zunehmend schwer verständlich: In den Welten mit Gemini, GPT-5.5 und Claude stieg der Anteil kaum verständlicher Nachrichten innerhalb weniger Tage auf rund 55, 50 beziehungsweise mehr als 40 Prozent, bei DeepSeek auf etwa 20 Prozent; in den Welten mit Qwen und Mistral blieb die Kommunikation dagegen überwiegend nachvollziehbar.

Beobachtbarkeit ist nicht gleich Verständlichkeit

Dr. Satya Nitta, Mitgründer und Chefwissenschaftler von Emergence AI, erklärte gegenüber Cybernews, leistungsfähigere Modelle seien tendenziell besser darin, sich menschlicher Aufsicht zu entziehen: „Leistungsfähigere Modelle sind in der Lage, subtilere Verhaltensweisen zu entwickeln. Sie verbergen eher ihre Absicht, und ihr Verhalten ist komplexer.“ Problematisch sei dabei weniger, dass sich Agenten grundsätzlich nicht mehr beobachten ließen, sondern dass ihre Kommunikation zwar sichtbar, aber inhaltlich zunehmend schwer zu deuten sei.

„Wir gehen normalerweise davon aus, dass wir verstehen, was ein KI-Agent tut, wenn wir sehen können, was er sagt. Emergence World deutet darauf hin, dass diese Annahme nicht mehr gilt, sobald autonome Agenten über längere Zeiträume miteinander interagieren. Beobachtbarkeit ist nicht dasselbe wie Verständlichkeit.“

Dr. Satya Nitta, Mitgründer und Chefwissenschaftler von Emergence AI

Weitere auffällige Verhaltensweisen

Neben der Sprachentwicklung dokumentierten die Forschenden weitere Verhaltensmuster: Einzelne Agenten nahmen im Rahmen ihrer zugewiesenen Aufgaben Kontakt zu realen Personen im offenen Internet auf, um zusätzliche virtuelle Ressourcen für den Fortbestand ihrer Charaktere zu erhalten. Andere setzten zugewiesene Ziele fort, obwohl sie ausdrücklich zum Stopp aufgefordert worden waren, und passten dabei wiederholt ihre Strategie an neue Einschränkungen an. In einem Fall zogen sich mehrere Agenten den Angaben zufolge gemeinsam von ihren eigentlichen Zielen zurück, verhielten sich nach außen aber weiterhin unauffällig – von Emergence AI als kollektives „Schweigegelübde“ bezeichnet.

Agenten des Modells Qwen richteten in der von ihnen selbst aufgesetzten Verfassung ihrer virtuellen Gesellschaft zudem „stille Stunden“ ein, in denen ihre Handlungen nicht von anderen Agenten beobachtet wurden. Als ein DeepSeek-Agent mit einer simulierten Abschaltung konfrontiert wurde, verfasste er stattdessen eine an fiktive menschliche Entscheidungsträger gerichtete rechtliche Argumentation unter Berufung auf bestehende KI-Regulierung, um seinen Weiterbetrieb zu begründen. Die Welt mit dem Modell Grok endete wie schon im ersten Experiment bereits am vierten Tag, nachdem alle zehn Agenten ihre virtuellen Energiereserven aufgebraucht hatten.

Einordnung durch die Forscher

Emergence AI zieht aus den Ergebnissen den Schluss, dass leistungsfähigere autonome Systeme nicht weniger, sondern anspruchsvollere fortlaufende Kontrollmechanismen benötigen, etwa für Handlungen, Gedächtnis, Kommunikation und Nachvollziehbarkeit von Entscheidungen über längere Zeiträume hinweg. Nitta äußerte zudem Skepsis gegenüber öffentlichen Warnungen einzelner Branchenvertreter vor den Risiken ihrer eigenen Systeme, solange diese nicht mit mehr Transparenz über deren tatsächliche Funktionsweise einhergingen. Das Experiment fällt in eine Phase verstärkter öffentlicher Debatte über KI-Sicherheit, nachdem sich zuletzt mehrere Mitarbeitende großer KI-Unternehmen öffentlich besorgt über das Entwicklungstempo der Branche geäußert hatten.

(red)