Autonomer Agent hackt McKinseys Chatbot in zwei Stunden

Das Sicherheitsunternehmen CodeWall ließ einen KI-Agenten auf die interne Chatplattform der Unternehmensberatung McKinsey los. Das Ergebnis dürfte IT-Sicherheitsverantwortlichen in Großunternehmen zu denken geben.

CodeWall, ein auf offensive Sicherheitstests spezialisiertes Startup, hat mit einem autonomen Agenten die generative KI-Plattform Lilli von McKinsey kompromittiert. Menschliche Hilfe war dabei offenbar überhaupt nicht nötig.

McKinsey stellte den Chatbot im Sommer 2023 vor. Er wird firmenintern für Recherchen, Strategiefragen und die Arbeit an Kundenprojekten eingesetzt. Nach Unternehmensangaben greifen inzwischen weit über 40.000 Berater regelmäßig darauf zu.

Wie lief der Angriff ab?

„Wir haben unseren autonomen Offensiv-Agenten darauf angesetzt”, schreiben die Forscher in ihrem Blogbeitrag. Der Agent begann ohne jegliche Zugangsdaten. Er stieß auf frei im Netz verfügbare Schnittstellendokumentation und fand dort knapp zwei Dutzend Endpunkte, die völlig ungeschützt waren. Über einen davon ließen sich Suchanfragen absetzen, deren Feldnamen ungefiltert in Datenbankabfragen einflossen.

Der Agent erkannte dieses Muster und nutzte es für eine SQL-Injection aus. Laut CodeWall hätten gängige Scan-Werkzeuge diese Lücke übersehen, weil nicht die übertragenen Werte, sondern die Strukturbezeichnungen der Anfragen angreifbar waren. „Als der Agent sah, dass JSON-Schlüssel wörtlich in Fehlermeldungen auftauchten, erkannte er eine SQL-Injection, die Standardtools nicht gefunden hätten”, so die Forscher.

Innerhalb von zwei Stunden hatte der Agent nach Angaben von CodeWall vollen Lese- und Schreibzugriff auf die gesamte Produktionsdatenbank erlangt. Darin fanden sich demnach 46,5 Millionen Chat-Nachrichten im Klartext, die sich um Strategiefragen, Fusionen und Übernahmen sowie Kundenprojekte drehten. Hinzu kamen 728.000 Dateien mit vertraulichen Kundeninformationen, 57.000 Nutzerkonten und 95 System-Prompts, die das Verhalten der KI steuern. Auch diese Prompts waren beschreibbar, ein Angreifer hätte also sämtliche Antworten von Lilli für alle zehntausende Berater manipulieren können.

Wie reagierte McKinsey?

CodeWall meldete die Schwachstelle Anfang März. McKinsey schloss die betroffenen Schnittstellen nach eigener Aussage innerhalb weniger Stunden. Ein Sprecher des Unternehmens erklärte gegenüber TheRegister: „Unsere Untersuchung, unterstützt von einer führenden externen Forensikfirma, hat keine Hinweise ergeben, dass Kundendaten durch diesen Forscher oder andere unbefugte Dritte abgerufen wurden.” Der Schutz anvertrauter Daten habe für McKinsey „höchste Priorität”.

CodeWall-Chef Paul Price sieht in dem Vorfall derweil ein Warnsignal. „Wir haben einen speziellen KI-Agenten eingesetzt, der das Ziel vollständig autonom ausgewählt hat, ohne jeglichen menschlichen Input”, sagte er. Kriminelle Gruppen würden vergleichbare Werkzeuge bereits nutzen, etwa für „finanzielle Erpressung bei Datenverlust oder Ransomware”.

Wer eigene KI-Systeme betreibt, muss sich darauf einstellen, dass auch die Gegenseite zunehmend auf autonome Agenten setzt und Schwachstellen in einem Tempo findet, mit dem menschliche Sicherheitsteams kaum Schritt halten können.