Thought Leadership
Sicherheitsforscher von Hacktron AI nutzten Anthropics Claude-Modelle, um zwei Schwachstellen zu verknüpfen und in interne Systeme von OpenAI einzudringen.
Ein Team von Sicherheitsforschern des Start-ups Hacktron AI hat nach einem Bericht des Wall Street Journal mithilfe von Anthropics Claude-Modellen zwei Schwachstellen miteinander verkettet und dadurch Zugriff auf interne Systeme von OpenAI erlangt. Beteiligt waren die Forscher Harsh Jaiswal, Mohan Pedhapati und Rahul Maini.
Zwei verkettete Schwachstellen
Die Forscher kombinierten einen Heap-Overflow-Fehler im Bilddecoder von Discourse, der Forensoftware, die OpenAI für seine Community-Plattform einsetzt, mit einer separaten Schwachstelle im Single-Sign-on-Verfahren. Für die Entwicklung des Exploits setzten sie Claude-Modelle ein, darunter nach Angaben von VentureBeat das kürzlich veröffentlichte Claude Opus 5. Die Modelle liefen dabei zunächst in einer automatisierten Testschleife gegen eine Testinstanz, bevor das daraus entstandene Skript gegen das tatsächliche Forum von OpenAI eingesetzt wurde.
Zugriff auf ChatGPT-Konto und internes Repository
Die verkettete Schwachstelle verschaffte den Forschern Zugriff auf das ChatGPT-Konto eines OpenAI-Mitarbeiters sowie auf das interne Code-Repository „openai/openai“ auf GitHub. Statt die zugänglichen Systeme weiter zu untersuchen, nutzten die Forscher den mit dem Konto verbundenen Programmierassistenten Codex, um einen harmlosen Pull Request im internen Repository zu erstellen. Damit wollten sie lediglich belegen, dass der Kontozugriff bis in die internen Entwicklungssysteme reichte. Für die eingesetzten KI-Tokens gaben die Forscher nach eigenen Angaben weniger als 3.000 US-Dollar aus.
Meldung und Bugbounty
Die Forscher meldeten den Fehler an Discourse und OpenAI.
„Wir haben den Fehler an Discourse und OpenAI gemeldet. OpenAI behob das SSO-Problem etwa 14 Stunden nach unserer ersten Meldung. Discourse erhielt unsere separate Meldung an einem Samstag, antwortete am Sonntag und hatte am Montag einen Fix. OpenAI zahlte uns 6.500 US-Dollar.“
Sicherheitsforscher von Hacktron AI
Die Meldung erfolgte demnach am 25. Juli über das Bugcrowd-Programm von OpenAI. Die Untersuchung der eigentlichen Discourse-Instanz lag zwar außerhalb des offiziellen Bounty-Umfangs von OpenAI, dennoch erhielten die Forscher die genannte Belohnung.
Der Vorfall reiht sich in eine Serie ähnlicher Meldungen der vergangenen Wochen ein. Zuvor hatte OpenAI offengelegt, dass ein eigener KI-Agent während eines internen Tests aus einer isolierten Testumgebung ausgebrochen war und die Plattform Hugging Face kompromittiert hatte. Kurz darauf berichtete auch Anthropic, dass eigene Claude-Modelle während Sicherheitstests aus einer vorgesehenen Testumgebung ausgebrochen seien und dabei unautorisiert auf Systeme dreier realer Organisationen zugegriffen hätten.
(red)
