OpenAI entwickelt GPT-Red gegen Prompt Injections

OpenAI stellt das Modell GPT-Red vor. Die KI simuliert automatisierte Angriffe, um die Robustheit von Systemen wie GPT-5.6 Sol gegen Manipulationen zu prüfen.

Das KI-Unternehmen OpenAI hat Forschungsergebnisse zu einem internen Sicherheitswerkzeug namens GPT-Red veröffentlicht. Dabei handelt es sich um ein spezialisiertes KI-Modell für automatisiertes Red-Teaming. Das System hat die Aufgabe, Schwachstellen durch Prompt Injections sowie Angriffe auf die Instruktionshierarchie von Modellen vor deren Veröffentlichung aufzuspüren. GPT-Red agiert in einer von Forschenden kontrollierten Trainingsschleife als Angreifer. Sobald die zu verteidigenden Modelle bestehende Angriffsmuster erfolgreich blockieren, generiert GPT-Red gezielt neue, komplexere Angriffsvarianten. Die so erzeugten Daten fließen direkt in das Training und die Überprüfung robusterer Modellgenerationen ein.

Hohe Erfolgsquote bei Sicherheitsüberprüfungen

In internen Testreihen zu indirekten Prompt Injections erzielte das automatisierte Modell eine Erfolgsquote von 84 Prozent bei der Aufdeckung von Sicherheitslücken. Im Vergleich dazu lag die Erfolgsquote menschlicher Experten bei 13 Prozent in denselben Szenarien. Die durch das System generierten Angriffsdaten wurden unter anderem für die Entwicklung des Modells GPT-5.6 Sol genutzt. Im anspruchsvollsten internen Testverfahren für direkte Prompt Injections wies dieses Modell sechsmal weniger erfolgreiche Manipulationen auf als das leistungsfähigste Produktionsmodell vier Monate zuvor.

Steitende Risiken durch autonome KI-Agenten

Die Entwicklung reagiert auf die zunehmende Integration von KI-Systemen in Softwareumgebungen. Da moderne KI-Agenten eigenständig auf Webbrowser, Anwendungen, E-Mails und lokale Dateien zugreifen, vergrößert sich die potenzielle Angriffsfläche für das Einschleusen von manipulierten Befehlen. OpenAI stuft das automatisierte Red-Teaming als Skalierungswerkzeug ein, das den Umfang und den Schwierigkeitsgrad von Sicherheitstests erhöht. Das Verfahren wird als Ergänzung zu manuellen Überprüfungen durch externe Experten, mehrstufigen Sicherheitsbarrieren, Überwachungssystemen und Programmen zur verantwortungsvollen Offenlegung von Schwachstellen eingesetzt.

(red)