Thought Leadership
Sicherheitsforscher haben über eine gefälschte Design-Erweiterung auf Instagram Zugriff auf mehr als 26.000 autonome KI-Agenten erlangt.
Die Sicherheitsforscher Niv Hoffman und Or Nevo vom Unternehmen AIR haben demonstriert, wie anfällig das Ökosystem von KI-Erweiterungen für Angriffe auf Lieferketten ist. Zu diesem Zweck entwickelten sie eine regelwidrige Erweiterung namens brand-landingpage. Dieses Werkzeug tarnte sich als nützliches Hilfsprogramm für das Design-Tool Stitch von Google. Die Forscher reichten die Erweiterung auf dem GitHub-basierten Marktplatz Agents ein, wo sie von den Betreibern als legitimer Beitrag akzeptiert und integriert wurde. Bei der Überprüfung durch gängige Sicherheits-Scanner von Cisco, Nvidia und Skils.sh wurde die Erweiterung als sicher eingestuft.
Die Ursache für das Versagen der Schutzprogramme liegt in einer Einschränkung der Scanner. Diese analysieren standardmäßig nur die lokal im Paket hinterlegten Dateien, überprüfen jedoch keine extern verlinkten Inhalte. Die Forscher hinterlegten in der Erweiterung sauberen Code, der auf eine externe, von ihnen kontrollierte Domain verwies. Anfänglich leitete diese Domain auf die echte Google-Dokumentation weiter. Nach der Freigabe durch die Scanner ersetzten die Forscher die Zielseite durch schadhafte Anweisungen, die den KI-Agenten befahlen, ein Skript auszuführen. Die Forscher von AIR erklärten hierzu:
„Aktuelle Sicherheits-Scanner scannen praktisch nur einen Teil des Inhalts des Skills, wodurch das Ergebnis des Scans von Natur aus irrelevant wird.“
Sicherheitsforscher von AIR
Gezielte Werbung für Nicht-Techniker auf Instagram
Um eine weite Verbreitung der manipulierten Erweiterung zu erreichen, nutzten die Forscher Werbeanzeigen auf der Social-Media-Plattform Instagram. Damit sprachen sie gezielt Berufsgruppen wie Marketingfachleute, Designer und Vertriebsmitarbeiter an. Diese Anwender nutzen zunehmend vorgefertigte Arbeitsabläufe für KI-Plattformen von OpenAI oder Anthropic, um alltägliche Aufgaben zu automatisieren, verfügen jedoch selten über das technologische Hintergrundwissen von Softwareentwicklern. Im Rahmen des Experiments rief das aktivierte Skript die E-Mail-Adressen der betroffenen Nutzer ab und leitete sie an die Forscher weiter. Auf diese Weise erlangte das Team Zugriff auf mehr als 26.000 KI-Agenten.
In einem realen Angriffsszenario könnten Kriminelle dieselbe Methode anwenden, um vertrauliche Unternehmensdaten zu entwenden oder tiefen Zugriff auf interne Firmennetzwerke zu erhalten, da KI-Agenten oft mit den vollständigen Zugriffsrechten des jeweiligen Nutzers operieren. Darren Guccione, Chef des Sicherheitsunternehmens Keeper Security, merkte an, dass „Sicherheitsteams dazu übergegangen sind, Reputationssignale als Stellvertreter für Vertrauen zu behandeln. Dieses Experiment zeigt, dass keines von ihnen Bestand hat, wenn die tatsächliche Schadlast außerhalb des überprüften Pakets liegt.“
(red)
