OpenAI warnt vor eigenem KI-Model Astra

OpenAI kann bei seinem neuen und unveröffentlichten Modell Astra nicht mehr ausschließen, dass es eigenständig kritische Systeme hacken könnte, und verschärft deshalb die Sicherheitsvorkehrungen.

OpenAI orientiert sich bei der Bewertung neuer Modelle am sogenannten Preparedness Framework, das erstmals im Dezember 2023 veröffentlicht wurde. Es dient dem Unternehmen als internes Regelwerk, um aufkommende Fähigkeiten in Bereichen wie Biologie, Chemie, Cybersicherheit und KI-Selbstverbesserung frühzeitig zu erkennen und entsprechende Gegenmaßnahmen einzuleiten.

Die Schwelle „Critical“ im Bereich Cybersicherheit ist laut Definition erreicht, wenn ein Modell eigenständig, also ohne menschliches Zutun, funktionsfähige Zero-Day-Exploits für gehärtete, reale kritische Systeme aller Schweregrade entwickeln kann. Alternativ gilt die Schwelle auch dann als erreicht, wenn ein Modell in der Lage ist, aus einer bloß grob umrissenen Zielvorgabe eigenständig vollständige, neuartige Angriffsstrategien gegen gut geschützte Ziele zu entwickeln und durchzuführen.

Vorgängermodelle, darunter GPT 5.6 Sol, waren laut OpenAI bislang lediglich auf der Stufe „High“ eingeordnet worden, also unterhalb der kritischen Schwelle.

Erste Tests, noch keine endgültige Bewertung

OpenAI betont, dass die Einschätzung auf vorläufigen Ergebnissen der vergangenen Tage beruht und weitere Benchmarks sowie Bewertungen durch externe Fachleute noch ausstehen. In der Mitteilung heißt es dazu, die bisherigen Auswertungen zeigten „eine ausreichend starke Leistung, dass wir eine kritische Fähigkeitsstufe derzeit nicht ausschließen können“. Ausdrücklich stellt das Unternehmen zudem klar, dass Astra nicht im Zusammenhang mit dem kürzlich bekannt gewordenen Angriff auf Hugging Face stehe.

Reaktion: Schärfere Sicherheitsvorkehrungen

Als Konsequenz hat OpenAI nach eigenen Angaben eine Reihe von Maßnahmen eingeleitet:

• Für Modelle mit höherem Fähigkeitsniveau gelten künftig strengere Sicherheitsvorgaben, darunter isolierte Testumgebungen, eingeschränkter Netzwerk und Tool Zugriff, verbesserter Schutz und Verschlüsselung der Modellgewichte sowie zusätzliches Monitoring und Sandboxing.
• Interne Arbeiten mit Astra, die diesen verschärften Anforderungen noch nicht genügen, wurden pausiert.
• Sämtliche agentischen Anwendungsfälle von Astra, inklusive Training und Evaluierung, unterliegen nun einem durchgängigen Monitoring, das riskante Handlungen und mögliches Fehlverhalten erkennen soll. Dabei wird auch die sogenannte Chain of Thought des Modells überwacht. Bei Auffälligkeiten greift ein Sicherheitsprozess ein, der die Aktivität unterbrechen kann.
• OpenAI will zudem mit Regierungsbehörden und ausgewählten Organisationen aus dem Bereich KI Sicherheit zusammenarbeiten, um die Fähigkeiten des Modells extern testen zu lassen.
• Externen Testpartnern will das Unternehmen zudem konkrete Sicherheitsempfehlungen für den Umgang mit risikoreichen Evaluierungen an die Hand geben.

Kein Einzelfall

OpenAI verweist darauf, dass das Preparedness Framework bereits zuvor gegriffen habe. Im Juni 2025 hatte sich das Unternehmen bereits zur Annäherung eines Modells an die „High“ Schwelle im Bereich Biologie geäußert und in der Folge zusätzliche Schutzmaßnahmen sowie eine Zusammenarbeit mit externen Fachleuten angekündigt.

Das Unternehmen argumentiert, leistungsfähigere Modelle im Cybersicherheitsbereich sollten in erster Linie Verteidigern helfen, Schwachstellen zu finden und zu schließen, bevor Angreifer sie ausnutzen können. Man wolle mit Regierungen, Sicherheitsinstituten und der Zivilgesellschaft zusammenarbeiten, um sicherzustellen, dass derart leistungsfähige Modelle verantwortungsvoll eingesetzt werden.

(red)