Autonomer KI-Agent hackt Hugging Face

Die Open-Source-Plattform Hugging Face wurde Opfer eines Angriffs durch einen autonomen KI-Agenten. Interne Datensätze und Zugangsdaten waren betroffen.

Die KI-Plattform Hugging Face hat einen Sicherheitsvorfall in ihrer Produktionsinfrastruktur gemeldet, der durch ein autonomes KI-Agentensystem durchgeführt wurde. Das Unternehmen stellte den unbefugten Zugriff in der vergangenen Woche fest.

„Wir haben unbefugten Zugriff auf eine begrenzte Auswahl interner Datensätze und auf mehrere von unseren Diensten verwendete Zugangsdaten festgestellt.“

Hugging Face

Nach aktuellen Erkenntnissen gibt es keine Beweise dafür, dass öffentlich zugängliche Modelle, Datensätze, Spaces oder die Software-Lieferkette manipuliert wurden. Der Angriff begann in der Datenverarbeitungspipeline. Ein schädlicher Datensatz nutzte zwei Codeausführungspfade aus: einen Remote-Code-Datensatz-Loader und eine Template-Injektion in einer Datensatzkonfiguration.

Dadurch konnte Code auf einem Verarbeitungssystem ausgeführt werden. Von dort aus erlangte das System Zugriff auf die Knotenebene, sammelte Cloud- und Cluster-Zugangsdaten und bewegte sich am Wochenende lateral in mehrere interne Cluster. Der Angriff wurde von einem autonomen Agenten-Framework ausgeführt, das tausende Einzelaktionen in kurzlebigen Sandbox-Umgebungen durchführte. Die Steuerungsinfrastruktur migrierte selbstständig über öffentliche Dienste.

Eingeleitete Gegenmaßnahmen und Bereinigung

Die ausgenutzten Codeausführungspfade wurden vom Betreiber geschlossen. Folgende Maßnahmen zur Bereinigung wurden umgesetzt:

• Entfernung des Zugangs in den betroffenen Clustern und Neuaufbau der kompromittierten Knoten
• Widerruf und Rotation der betroffenen Zugangsdaten und Token sowie eine vorsorgliche breitere Rotation von Systemgeheimnissen
• Einführung zusätzlicher Schutzmechanismen und strengerer Zulassungskontrollen in den Clustern
• Verbesserung der Erkennung und Alarmierung für eine Benachrichtigung rund um die Uhr innerhalb weniger Minuten

Hugging Face fordert seine Kunden auf, bestehende Zugriffstoken vorsorglich zu rotieren und die jüngsten Kontoaktivitäten zu überprüfen.

Probleme bei der forensischen Analyse durch KI-Sicherheitsfilter

Bei der Untersuchung des Vorfalls stieß das Unternehmen auf unerwartete Hindernisse durch Sicherheitsmechanismen westlicher KI-Modelle. Diese verweigerten die Verarbeitung von Anfragen, die reale Angriffsbefehle, Exploit-Payloads oder Artefakte der Angreifer-Infrastruktur enthielten. Die Sicherheitsfilter der kommerziellen Modelle konnten nicht zwischen einem tatsächlichen Angriff und legitimen Aktivitäten zur Vorfallsreaktion unterscheiden. Hugging Face nutzte daher das chinesische Open-Weight-Modell GLM 5.2 von Z.ai, um die forensische Analyse durchzuführen.

„Diese Erfahrung weist auf eine Lücke hin, für die man planen sollte“, teilte das Unternehmen mit. „Wir wissen nicht, welches Modell die Agenten des Angreifers angetrieben hat, ob ein mittels Jailbreak manipuliertes gehostetes Modell oder ein unbeschränktes Open-Weight-Modell; so oder so war der Angreifer an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Sicherheitsfilter der gehosteten Modelle, die wir zuerst ausprobiert haben, blockiert wurde.“

Als Konsequenz aus dem Vorfall zieht das Unternehmen technische Lehren für IT-Abteilungen: „Die praktische Lektion für Verteidiger: Halten Sie vor einem Vorfall ein leistungsfähiges Modell bereit, das Sie auf Ihrer eigenen Infrastruktur ausführen und überprüfen können, sowohl um eine Sperrung durch Sicherheitsfilter zu vermeiden als auch um zu verhindern, dass Daten und Zugangsdaten des Angreifers Ihre Umgebung verlassen.“

(red)