Thought Leadership
OpenAIs kommendes Modell Astra soll laut einem Bericht von The Information eine als „Recurrent Depth“ beziehungsweise „Opaque Recurrence“ bezeichnete Argumentationstechnik nutzen.
Buck Shlegeris, Geschäftsführer des auf KI-Sicherheitsforschung spezialisierten Unternehmens Redwood Research, äußerte sich nach Bekanntwerden der Nachricht öffentlich besorgt. Er wisse nicht, ob sich Astras Gedankenkette dadurch tatsächlich deutlich schlechter überwachen lasse als bei früheren Modellen, treibe OpenAI die Technik jedoch weiter voran, hätte das Unternehmen die Möglichkeit, die Rekurrenz massiv zu verstärken und die Überwachbarkeit der Gedankenkette dadurch vollständig zunichtezumachen.
„Ich bin äußerst besorgt über die Berichte, dass Astra Opaque Recurrence nutzt.“
Buck Shlegeris, Geschäftsführer des auf KI-Sicherheitsforschung spezialisierten Unternehmens Redwood Research
Der langjährige KI-Sicherheitsvertreter Zvi Mowshowitz erklärte, gesetzliche Regelungen könnten notwendig werden, um ein sogenanntes Race to the Bottom unter den KI-Laboren zu verhindern. „Die Technik spielt mit dem Feuer und riskiert ein Tabu.“ Dieses Tabu hätten OpenAI und Anthropic gemeinsam mühsam etabliert, indem beide Unternehmen sich darum bemühten, die Nachvollziehbarkeit und Verlässlichkeit der Gedankenkette so lange wie möglich aufrechtzuerhalten, ein intensiverer Einsatz derartiger Techniken würde diese Überwachbarkeit vermutlich beschädigen.
Astra: Sorge vor vollständig unsichtbarem Denkprozess
Ryan Greenblatt, Chefwissenschaftler bei Redwood Research, warnte zudem, undurchsichtiges Schlussfolgern könne sich deutlich schneller skalieren lassen als klassisches, schrittweises Denken in Textform, wodurch sich der gesamte Denkprozess eines Modells faktisch aus sichtbaren Kanälen entfernen ließe: „Meine größte Sorge ist, dass eine natürliche Weiterentwicklung von hier aus.“ Diese Weiterentwicklung könnte demnach darin bestehen, das undurchsichtige Schlussfolgern so weit auszubauen, dass ein Modell schließlich vollständig oder nahezu vollständig in einem verborgenen, nicht direkt beobachtbaren Merkmalsraum denke, er hoffe, es sei nicht bereits zu spät, um die bedenklichsten Architekturen noch zu vermeiden, und dass OpenAI an dieser Stelle innehalte.
OpenAI verweist auf begrenzten Einsatz
OpenAIs Chefwissenschaftler Jakub Pachocki reagierte auf die Berichterstattung mit dem Hinweis, der Einsatz der Technik in Astra falle bislang begrenzt aus: „OpenAI hat sich seit unseren allerersten Reasoning-Modellen bemüht, Chain-of-Thought-Überwachung zu erhalten und zu nutzen.“ Dies bleibe ein zentrales Ziel des laufenden Forschungsprogramms des Unternehmens.
(red)
