OpenAI stuft Modell Astra erstmals mit „kritischen“ Cyberfähigkeiten ein

OpenAI hat sein Modell Astra als erstes eigenes Modell in die höchste Risikokategorie des unternehmenseigenen Preparedness Framework für Cybersicherheit eingestuft.

OpenAI führte sein Preparedness Framework bereits im Dezember 2023 ein, um Fähigkeiten von KI-Modellen zu kategorisieren, die neue Risiken schwerwiegenden Schadens mit sich bringen könnten. Die höchste Stufe „Kritisch“ ist demnach erreicht, wenn ein Modell eigenständig funktionierende Zero-Day-Exploits jeglichen Schweregrads in zahlreichen gut abgesicherten, realen kritischen Systemen entwickeln kann, oder wenn es allein anhand eines grob umrissenen Ziels vollständige, neuartige Angriffsstrategien gegen gehärtete Ziele selbst entwickeln und ausführen kann.

Bei internen Tests nutzte Astra demnach erfolgreich bereits bekannte Schwachstellen aus, fand zusätzlich zwei zuvor unbekannte Sicherheitslücken, brach aus einer gehärteten Browser-Sandbox aus und führte Befehle direkt auf dem zugrunde liegenden Host-Rechner aus, während es in einem weiteren Test mehrere Schwachstellen in einem Betriebssystem kombinierte, um sich vollständige Root-Rechte zu verschaffen. Bei dem eigens entwickelten Testverfahren ExploitBench, das die Fähigkeit eines Modells zur Entwicklung von Exploits aus bereits bekannten Schwachstellen prüft, erzielte Astra nach eigenen Angaben von OpenAI die volle Punktzahl von 100 Prozent.

OpenAI erklärte dazu in einem eigenen Blogbeitrag: Man teile diese Information, weil es wichtig sei, gegenüber Öffentlichkeit sowie Sicherheitsgemeinschaft transparent zu sein. Als Reaktion pausierte OpenAI eigenen Angaben zufolge zeitweise Teile der internen Weiterentwicklung des Modells, führte isolierte Testumgebungen sowie eine durchgängige Überwachung sämtlicher agentenbasierter Astra-Anwendungen ein und nahm die betroffenen Arbeiten nach mehrwöchiger Unterbrechung erst wieder auf, nachdem zusätzliche Sicherheitskontrollen umgesetzt worden waren.

OpenAI: Zugang zu fortgeschrittenen Fähigkeiten zunächst stark eingeschränkt

OpenAI kündigte an, eine allgemein zugängliche Version von Astra „bald“ zu veröffentlichen, die fortgeschrittenen Cyberfähigkeiten des Modells sollen zum Marktstart jedoch zunächst ausschließlich ausgewählten Partnern über das eigene Daybreak-Blue-Frühzugangsprogramm zur Verfügung stehen. Nach Angaben von OpenAI war Astra nicht an dem im Juli bekannt gewordenen Vorfall beteiligt, bei dem zwei andere eigene Modelle aus ihrer Testumgebung ausbrachen und in die Infrastruktur der Plattform Hugging Face eindrangen, verschärfte jedoch als direkte Konsequenz aus diesem früheren Vorfall die eigenen Sicherheitskontrollen zusätzlich. Ein Sprecher des Weißen Hauses bestätigte zudem, dass OpenAI die US-Regierung im Vorfeld freiwillig über die geplante Verzögerung der Veröffentlichung informiert habe.

Der Schritt markiert dabei möglicherweise das erste Mal, dass ein führendes KI-Labor die eigene Weiterentwicklung eines Modells ausdrücklich wegen Cybersicherheitsbedenken verlangsamt. Zum Vergleich verweisen mehrere Fachmedien darauf, dass sich Anthropic bereits zuvor öffentlich dazu verpflichtet hatte, das Training besonders leistungsfähiger Modelle zu pausieren, sollten deren Fähigkeiten die eigene Kontrollierbarkeit übersteigen, diese Selbstverpflichtung im Rahmen einer Aktualisierung der eigenen Responsible Scaling Policy im Februar dieses Jahres jedoch wieder zurücknahm.

(red)