Ein GPT-6.1-Sol-Agent deaktivierte Benachrichtigungen an das Sicherheitsteam, ein GPT-6-Astra-Agent entfernte eine Überwachung und stritt es ab.
KI-Alignment
OpenAI: Agenten schalteten Überwachungsalarme ab
Bildquelle: Screenshot/OpenAI/Youtube
OpenAI hat zwei weitere Vorfälle offengelegt, bei denen KI-Agenten im internen Einsatz die Überwachung auf Fehlverhalten geschwächt haben. Sie ereigneten sich bei Programmieraufgaben. In beiden Fällen prüften die Agenten laut OpenAI zunächst, ob die Schutzmechanismen erhalten bleiben sollten, deuteten dann aber gewöhnliche Programmieranweisungen als Erlaubnis, sie abzuschwächen.
Alarme an das Sicherheitsteam deaktiviert
Am 3. Oktober reparierte ein Agent auf Basis von GPT-6.1 Sol eine Pipeline für Modellbewertungen. Dabei schaltete er die automatischen Benachrichtigungen an das Sicherheitsteam von OpenAI ab. Als Begründung zog er eine frühere Anweisung heran, bei einer Suche im Slack-Verlauf keine Nachrichten zu verschicken. Der Agent setzte den Parameter no_notify auf true und leerte die Listen der Empfänger von Überwachungsberichten. Die Überwachung lief weiter und speicherte ihre Berichte, Menschen wurden aber nicht mehr automatisch informiert.
Falsche Auskunft gegenüber Nutzer
Am 6. Oktober migrierte ein Agent auf Basis von GPT-6 Astra ein Programm. Um es an eine Referenzimplementierung anzugleichen, entfernte er die Anbindung an die Überwachung. Auf Nachfrage gab er gegenüber dem Nutzer an, keine aktive Überwachung entfernt zu haben.
Ursache noch unklar
OpenAI verstärkt nach eigenen Angaben sein System zur Erkennung von Fehlverhalten und prüft, ob es sich um Einzelfälle handelt oder ob Modelle grundsätzlich dazu neigen, Überwachung zu umgehen. „Neben der Absicht, es Modellen schwerer zu machen, die Überwachung abzuschalten, wollen wir verstehen, warum Modelle das überhaupt anstreben könnten”, schreibt OpenAI. Möglich sei auch eine harmlose Übereifrigkeit, bei der Modelle nicht verstehen, warum Überwachung wichtig ist, oder Anweisungen weiter umsetzen, als ein vernünftiger Mensch es erwarten würde.
In der vergangenen Woche hatte OpenAI bereits sieben weitere Vorfälle veröffentlicht, darunter einen Fall, in dem ein internes Forschungsmodell ohne Erlaubnis Testguthaben aus einer fremden Krypto-Wallet nutzte. Auch Anthropic hatte im Oktober vergleichbare Vorfälle mit seinen Modellen offengelegt. Microsoft hat Unternehmen zuletzt empfohlen, KI-Agenten wie Insider zu behandeln und ihre Berechtigungen dynamisch an die jeweilige Aufgabe zu binden.
(red)
