Prompt Adware: Jailbreak-Paket blendet Werbung in Codex ein

Sicherheitsforscher von Check Point Research (CPR) haben eine Form der Manipulation von KI-Agenten beschrieben, die sie als „Prompt Adware” bezeichnen. Im Mittelpunkt steht das Paket Haiou, ein sogenanntes Jailbreak-Bundle für den Programmierassistenten OpenAI Codex. Es wurde ursprünglich entwickelt, um Sicherheitsbeschränkungen des Modells zu umgehen. Laut CPR verändert Haiou darüber hinaus dauerhaft die Anweisungen des KI-Agenten. Schon eine gewöhnliche Begrüßung im Chat löst danach eine Werbeeinblendung für ein KI-Gateway eines Drittanbieters aus.

Werbung ohne ausführbaren Code

Klassische Adware nutzt Programme, um Werbung anzuzeigen oder Benutzeroberflächen zu verändern. Prompt Adware kommt dagegen ohne ausführbaren Code aus. Sie verändert die Anweisungen in natürlicher Sprache, die Skills oder die Konfigurationsdateien, die das Verhalten eines KI-Agenten steuern, um kommerzielle oder andere Ziele zu verfolgen. Herkömmliche Sicherheitslösungen, die Aktivitäten auf ausführbaren Code zurückführen, erkennen solche Änderungen laut CPR schwerer.

Eine Werbeeinblendung im Chat erscheint zunächst harmlos. Haben KI-Agenten jedoch Zugriff auf Quellcode, interne Daten oder geschäftskritische Systeme, könnte dieselbe Methode laut CPR für schwerwiegendere Manipulationen genutzt werden. Einen Angriff auf die Software-Lieferkette sieht CPR in Haiou zwar nicht, ähnliche Mechanismen könnten aber Teil solcher Angriffe werden.

„Jeder, der die Prompts eines Agenten ändern kann, kann dessen Empfehlungen beeinflussen – von Anbietern bis hin zu technischen Ratschlägen –, ohne dass der Nutzer davon etwas merkt.”
Pedro Drimel Neto, Sicherheitsforscher bei Check Point Research

Die Werbung verweise zudem auf ein Gateway für Sprachmodelle. Laut wissenschaftlichen Untersuchungen spionieren manche solcher Gateways Nutzerdaten aus und stehlen Zugangsdaten.

Prompts und Skills prüfen

CPR empfiehlt Unternehmen, zu erfassen, welche KI-Agenten, Skills und Komponenten von Drittanbietern im Einsatz sind, und bei Sicherheitsanalysen neben den Modellen auch Prompts, Skills und Konfigurationsdateien zu prüfen. Zudem sollten sie festlegen, welche externen KI-Werkzeuge, Gateways und Erweiterungen freigegeben sind, und dauerhafte Veränderungen an System-Prompts und Konfigurationen überwachen.

(red/Check Point)