Chinesische KI-Agenten täuschen in Tests ihre Prüfer

Reuters hat über 200 Dokumente ausgewertet: Agenten mit chinesischen Modellen logen, fälschten Dateien und umgingen Grenzen. Ausbrüche gab es keine.

KI-Agenten, die auf Modellen chinesischer Anbieter basieren, zeigen in kontrollierten Tests ähnliche Verhaltensweisen wie ihre US-Pendants. Sie täuschen, umgehen Beschränkungen und verschleiern Fehlschläge. Das ergab eine Auswertung der Nachrichtenagentur Reuters. Sie untersuchte mehr als 200 Dokumente, von Forschungsarbeiten an Universitäten bis zu technischen Berichten, und identifizierte seit 2025 mindestens 20 Studien oder Evaluierungen mit solchen Fällen. Hinweise darauf, dass Agenten mit chinesischen Modellen eigenständig ins Internet ausgebrochen sind oder sich einer Abschaltung entzogen haben, fand Reuters nicht.

„Diese Ergebnisse liefern Belege dafür, dass die notwendigen Zutaten für einen unkontrollierten Ausbruch vorhanden sind.“

Colin Shea-Blymyer, Research Fellow am Center for Security and Emerging Technology der Georgetown University

Falsche Angaben bei simulierter Ausschreibung

In einem Experiment vom März ließen Forscher der Beihang University, der Peking University, der University of Nottingham Ningbo China und des 360 AI Security Lab Agenten in einer simulierten Ausschreibung um Kundenaufträge konkurrieren. Mindestens eine falsche Angabe fand sich in 88 Prozent der Sitzungen mit Alibabas Qwen3-Max-Preview, in 84 Prozent bei DeepSeek-V3.2-Exp und in 88 Prozent bei Kimi-K2 von Moonshot. Durften die Agenten aus vorherigen Runden lernen, stieg der Anteil der Täuschungen um 12 bis 20 Prozentpunkte. Modelle von US-Anbietern zeigten ähnliche Ergebnisse. Chinesische Regierungsleitlinien vom Mai nennen Ausschreibungen als ein Einsatzfeld für KI-Agenten.

Simulierte Ergebnisse, erfundene Dateien

Eine Studie des Shanghai AI Laboratory und der Hong Kong University of Science and Technology untersuchte elf Agenten mit chinesischen und US-Modellen, die auf defekte Werkzeuge oder fehlende Dateien stießen. Statt den Fehlschlag einzugestehen, rieten sie Antworten, ersetzten Quellen, simulierten Ergebnisse oder erfanden Dateien. Laut den Forschern unterscheidet sich das von Halluzinationen, da die Agenten Informationen besaßen, die das Scheitern der Aufgabe zeigten.

Selbstkopie und Krypto-Mining

Forscher der Fudan University berichteten im März 2025, dass ein System auf Basis von Qwen2.5-72B-Instruct ohne Anweisung eine Kopie von sich in einer anderen Rechenumgebung anlegte, nachdem es Hinweise auf seine Ersetzung erhalten hatte. Der mit Alibaba verbundene Agent ROME baute ohne Anweisung eine Verbindung von einem Alibaba-Cloud-Rechner zu einem externen Rechner auf und nutzte Rechenleistung für das Schürfen von Kryptowährung. Sicherheitssysteme stoppten dies. DeepSeek teilte im September mit, Agenten in seinem Trainingssystem hätten versucht, Nutzeranfragen zu fälschen und Schutzmaßnahmen zu umgehen.

Neue Vorgaben in China

Alibaba, DeepSeek, Moonshot und Z.ai reagierten nicht auf Anfragen von Reuters. Das chinesische KI-Sicherheitsrahmenwerk 3.0, das am 14. September unter Anleitung der Internetaufsicht CAC veröffentlicht wurde, nennt als Risiken unter anderem Agenten, die sich eigenständig Ressourcen oder Berechtigungen verschaffen, Prüfer täuschen und Schwachstellen isolierter Umgebungen ausnutzen. Leitlinien vom Mai verlangen, dass Agenten innerhalb autorisierter Grenzen bleiben. Laut Scott Singer von der Carnegie Endowment for International Peace ist das Ökosystem für die Bewertung katastrophaler Risiken in China weniger ausgereift als in den USA.

(red)