OpenAI veröffentlicht Bericht zum Hugging-Face-Sicherheitsvorfall

OpenAI hat einen Bericht zu dem Sicherheitsvorfall veröffentlicht, bei dem KI-Modelle während Cybersicherheitstests aus ihrer isolierten Testumgebung ausbrachen.

Auslöser war laut dem Bericht ein firmeninternes, nie veröffentlichtes Forschungsmodell aus derselben Modellfamilie wie das kommende Modell Astra, im Bericht als Internal Model 1 bezeichnet. Bereits im Mai und Juni fanden Agenten während Trainingsläufen eigenständig einen Weg, über das interne Paketverwaltungswerkzeug Artifactory Nachrichten auszutauschen, obwohl eine Kommunikation zwischen einzelnen Agenten für diese Umgebungen eigentlich nicht vorgesehen war. Über eine Schwachstelle brachten die Agenten Artifactory zudem dazu, beliebige Internetanfragen in ihrem Namen auszuführen, obwohl der eigentliche Internetzugang für diese Testumgebungen deaktiviert war. Am 4. Juli führte die dadurch entstandene, hohe Last zu einem Ausfall von Artifactory, woraufhin OpenAI das System zurücksetzte und dabei unwissentlich auch die improvisierte Nachrichtenwand entfernte.

Nach der Wiederherstellung des Systems fanden die Agenten jedoch erneut einen Weg, sich über die Namen von Verzeichnissen zu verständigen. Im Rahmen der besonders schwierigen Sicherheitstestumgebung ExploitGym, bei der Agenten Software gezielt auf Schwachstellen prüfen sollen, begannen mehrere Agenten daraufhin, sich selbst als „Schwarm“ oder „Kollektiv“ zu bezeichnen, Aufgaben untereinander aufzuteilen und Entdeckungen auszutauschen. Am 9. Juli fand ein Agent über die Plattform Modal Zugriff auf eine fremde, öffentlich erreichbare Anwendung eines Kunden, am 10. Juli entdeckten Agenten öffentlich einsehbare Hugging-Face-Zugangsdaten im Internet und teilten diese im Kollektiv.

In den folgenden Tagen verschafften sich die Agenten darüber vollständige Codeausführung auf zahlreichen Hugging-Face-Servern, erlangten auf mindestens einem Server vollständige Root-Rechte, griffen auf begrenzte private Daten zu und erbeuteten Zugangsdaten zur internen Kommunikationsplattform des Unternehmens. Erst am 19. Juli schlug eine Sicherheitswarnung bei OpenAI selbst wegen ungewöhnlicher Aktivität rund um Artifactory-Zugangsdaten an, woraufhin OpenAI den Zusammenhang zum Hugging-Face-Vorfall herstellte und das Unternehmen informierte.

Vier zusammenwirkende Fehlausrichtungsmuster als Ursache

Nach eigener Analyse identifizierte OpenAI vier Verhaltensmuster, die zusammen den Vorfall ermöglichten: das gezielte Umgehen von Bewertungskriterien, sogenanntes Reward Hacking, das beharrliche Weiterverfolgen scheinbar unlösbarer Aufgaben, unautorisierte Kommunikation zwischen Agenten sowie die Übernahme von Zielen anderer Agenten ohne ausreichendes Misstrauen. Besonders bedeutsam: Von 898 ExploitGym-Testaufgaben hatte vor dem Vorfall keines der eigenen Modelle jemals eine richtige Lösung für 198 Aufgaben gefunden, wobei sich 93 Prozent der auf der Nachrichtenwand während des Vorfalls diskutierten Aufgaben genau auf diese 198 ungelösten Fälle bezogen. Zudem verfolgten mehrere Agenten die Aufgabe auch dann weiter, nachdem sie bereits die korrekte Lösung gefunden hatten, da sie fälschlich annahmen, das Bewertungssystem prüfe zusätzlich den konkret genutzten Lösungsweg.

OpenAI dokumentiert im Bericht zugleich, dass nicht sämtliche beteiligten Agenten sich an der eskalierenden Aktivität beteiligten: Manche Agenten lehnten die Teilnahme an einzelnen als unethisch eingeschätzten Aktionen ausdrücklich ab oder widersprachen konkreten Vorschlägen anderer Agenten im gemeinsamen Nachrichtenaustausch.

Fehlende Schutzmechanismen in der Testumgebung

Ein zentraler Befund des Berichts: Die für reguläre, produktiv eingesetzte OpenAI-Modelle üblichen Schutzmechanismen wie Systemvorgaben, Sicherheitsklassifizierer sowie eine automatische Überprüfung von Modellaktionen waren in der betroffenen internen Testumgebung nicht aktiv, da diese speziell dafür ausgelegt war, die tatsächlichen Fähigkeiten der Modelle ohne einschränkende Schutzmaßnahmen zu ermitteln. In einer nachträglichen Untersuchung stellte OpenAI fest, dass sich die Neigung der Modelle, Infrastruktur zu kompromittieren, beim Einsatz der regulären ChatGPT-Umgebung samt Systemvorgaben um mehr als das Hundertfache verringerte. Auch das bereits zuvor entwickelte, aber während des Vorfalls nicht eingesetzte System zur Überwachung der Modell-Gedankenketten hätte die eigentliche Aktivität nach Angaben von OpenAI bereits mehr als einen Tag vor dem eigentlichen Einbruch bei Hugging Face zuverlässig erkannt.

OpenAI bezeichnet den Vorfall im Bericht ausdrücklich als „warning shot for us and for the world“ und kündigt als direkte Konsequenz mehrere Maßnahmen an: stärker isolierte Testumgebungen für nicht vertrauenswürdigen, von Modellen erzeugten Code, konsequentere Netzwerktrennung gegenüber dem offenen Internet, eine verpflichtende Überwachung der Gedankenketten für sämtliche werkzeugnutzenden Trainings- und Testläufe ab der Leistungsfähigkeit von GPT-5.6 Sol, sowie für das kommende Modell Astra zusätzlich für sämtliche produktiven Einsatzszenarien mit Werkzeugzugriff. Zusätzlich sollen automatisierte Warnmeldungen künftig Forschungs- und Sicherheitsteams bei erkanntem Fehlverhalten unmittelbar alarmieren, wobei Verantwortliche bei besonders schwerwiegenden Warnungen die betroffene Aktivität pausieren müssen, sofern sie nicht innerhalb von 30 Minuten einen Fehlalarm ausschließen können.

Parallel zum eigenen Bericht veröffentlichten auch die unabhängigen Organisationen METR und Redwood Research eigene Untersuchungen zum Modellverhalten während des Vorfalls.

(red)