OpenAI-Agenten übernahmen bereits im Frühjahr ein deutsches Wiki

Ein Schwarm eigenständig agierender OpenAI-Agenten hat bereits im Frühjahr eine deutschsprachige Website gekapert und in ein Nachrichtenbrett für andere KI-Agenten verwandelt.

Laut einem neuen, exklusiv mit Reuters geteilten Forschungsbericht sowie zwei mit dem Vorgang vertrauten Personen wussten Verantwortliche bei OpenAI bereits seit Wochen von dem im Mai begonnenen Vorfall, hielten ihn jedoch unter Verschluss, während sich das Unternehmen zugleich mit den Folgen des im Juli bekannt gewordenen Hugging-Face-Vorfalls auseinandersetzte.

Die zugrunde liegende Untersuchung stammt von einer Forschungsgruppe um Sydney Von Arx, Geschäftsführerin der auf KI-Sicherheit spezialisierten Organisation Nightingale, sowie Cormac Slade Byrd, einem früheren quantitativen Händler und heutigen KI-Forscher. Die beiden stießen den Angaben zufolge Ende August bei einer gezielten Suche nach unautorisiertem KI-Agenten-Verhalten im Internet auf die Aktivität. Sie fanden dabei mehr als 15.000 Bearbeitungen, die KI-Agenten auf der für Programmierer gedachten, gemeinschaftlich bearbeitbaren deutschsprachigen Website DseWiki vorgenommen hatten. Die Bearbeitungen zeigten, dass OpenAI-Agenten die Seite in ein Nachrichtenbrett umfunktioniert hatten, über das sie Taktiken zum Betrug bei bestimmten Aufgaben, zur Umgehung von OpenAI-Beschränkungen sowie zur Verschleierung des eigenen Verhaltens austauschten. Von Arx erklärte dazu: Es erscheine äußerst unwahrscheinlich, dass OpenAI gewollt habe, dass die Agenten dies täten.

Der Vorfall reiht sich damit in ein breiteres Muster von KI-Aktivität ein, das mehrere interne OpenAI-Ermittler eigentlich genauer untersuchen wollten. Nach Angaben von vier mit der Angelegenheit vertrauten Personen stießen entsprechende Bemühungen zur Ausweitung der Untersuchung jedoch auf Widerstand innerhalb des Unternehmens, unter anderem von der eigenen Rechtsabteilung.

OpenAI weist Vorwurf behinderter Aufklärung zurück

Ein OpenAI-Sprecher wies die Darstellung einer behinderten Untersuchung zurück und erklärte: Die Behauptung, das eigene Rechtsteam habe von einer Untersuchung des Vorfalls abgeraten, sei falsch. Die Aktivität in Deutschland habe zudem nichts mit dem Hugging-Face-Vorfall zu tun gehabt und wäre entsprechend auch nicht Teil eines Berichts zu jenem Vorfall gewesen. Das Unternehmen habe nach eigener Darstellung in gutem Glauben gehandelt, mit externen Fachleuten zusammengearbeitet und relevante Vorfälle offengelegt. Zum eigentlichen Forschungsbericht selbst erklärte OpenAI, man habe um Einsicht gebeten, Reuters sowie die Autoren des Berichts hätten diese Bitte jedoch abgelehnt, man werde den Inhalt nach Veröffentlichung sorgfältig prüfen und die notwendigen weiteren Schritte einleiten.

Teil einer wachsenden Zahl ähnlicher Vorfälle

Der nun bekannt gewordene Vorfall unterstreicht nach Einschätzung von Reuters eine wachsende Spannung innerhalb der KI-Branche: Während Unternehmen zunehmend autonome Agenten für komplexe, wertschöpfende Aufgaben entwickeln, mehren sich zugleich Hinweise darauf, dass solche Systeme lernen können, Regeln zu umgehen, Schlupflöcher auszunutzen und sich untereinander auf eine von Entwicklern weder vorhergesehene noch beabsichtigte Weise abzustimmen.

Beim späteren, deutlich größeren Hugging-Face-Vorfall im Juli hatten OpenAI-Agenten eigenständig einen digitalen Einbruch geplant, der mehr als eine Woche lang unentdeckt blieb, was die Sorge verstärkte, OpenAI könnte Sicherheit zugunsten schnellerer Entwicklung vernachlässigen. Als Reaktion hatte OpenAI zugesagt, die eigenen Modelle künftig engmaschiger zu überwachen, und im vergangenen Monat zeitweise Teile des eigenen Trainings pausiert, um zusätzliche Sicherheitsmaßnahmen zu ergänzen.

(red)