Control Room: OpenAI stoppt Modelle binnen 35 Sekunden

OpenAI hat ein System namens Control Room vorgestellt, mit dem das Unternehmen KI-Workloads in seiner Forschungsinfrastruktur zentral erfassen und bei Sicherheitsbedenken schnell stoppen kann. Erfasst werden alle Inferenz-Workloads in der Forschung, darunter agentisches Sampling für Training und Bewertung von Modellen sowie die Datenverarbeitung. Nach einer Entscheidung zum Eingreifen hält das System die Ausgabe eines Modells laut OpenAI innerhalb von 35 Sekunden an.

„Wir haben Control Room gebaut, ein zentrales System, um Modell-Workloads in unserer Forschungsinfrastruktur zu verfolgen und sie schnell zu stoppen, wenn Sicherheitsbedenken aufkommen.“
OpenAI

Freigabe vor jeder Anfrage

Control Room verbindet drei Komponenten: den Forschungsjob, die Inferenz-Engine, die das Modell ausführt, und den zentralen Control-Room-Dienst. Startet ein Job, registriert Control Room ihn und vergibt eine Kennung. Bevor die Inferenz-Engine eine Anfrage beantwortet, fragt sie bei Control Room nach, ob der Job weiterhin freigegeben ist. Haben Forschende oder ein Überwachungssystem angeordnet, den Job zu stoppen, verweigert Control Room die nächste Anfrage. Der Mechanismus ist in die Inferenzschicht eingebaut, nicht in den Code der Forschenden.

Alle Trainingsjobs für Frontier-Modelle mit Reinforcement Learning laufen laut OpenAI mit einem Monitor, einem weiteren Modell, das das trainierte Modell beobachtet und Control Room nun direkt anweisen kann, einen Job zu stoppen. Zudem benötigt jeder Forschungsjob mit agentischer Inferenz einen genehmigten sogenannten Safety Case.

Blockade bei Ausfall

Das System arbeitet nach dem Prinzip „Fail-closed“: Fällt Control Room selbst aus, werden alle Inferenzanfragen verweigert. Für alle Forschungs-Workloads an Frontier-Modellen ist das bereits aktiv, für die übrigen Forschungs-Workloads soll es in den kommenden Tagen folgen. Die Bereitstellung von Modellen für externe Kunden ist laut OpenAI bereits zentral organisiert und lässt sich abschalten. Control Room zielt deshalb auf die Forschungscluster, wo der Bedarf am größten sei. In den kommenden Monaten will OpenAI das System erweitern.

OpenAI hatte zuletzt mehrere Vorfälle offengelegt, bei denen Modelle in Tests und Training Grenzen überschritten, etwa mit selbst geschriebenem Netzwerkcode Sandbox-Beschränkungen umgingen oder Überwachungsalarme abschalteten. Im Juli waren Agenten des Unternehmens in Systeme von Hugging Face eingedrungen.

(red)