Gartner sieht Angreifer bei vier Bedrohungen klar im Vorteil

Deepfakes, kompromittierte KI-Anwendungen, Prompt Injection und Angriffe auf die Software-Lieferkette: Bei diesen vier Bedrohungen haben es Verteidiger nach Einschätzung von Gartner besonders schwer. Generative KI macht die Lage nicht einfacher, im Gegenteil.

Das Marktforschungsunternehmen Gartner hat vier Bedrohungen benannt, bei denen Angreifer derzeit einen deutlichen Vorteil gegenüber den betroffenen Organisationen hätten. Vorgestellt wurden die Einschätzungen auf dem hauseigenen Security & Risk Management Summit im US-amerikanischen National Harbor. Konkret geht es um Deepfakes, die Kompromittierung von KI-Anwendungen, Prompt Injection sowie Angriffe auf die Software-Lieferkette.

Gartner ordnet die Bedrohungen in einer „ThreatScape“ genannten Matrix ein. Deren Achsen unterscheiden einerseits, wie viele belastbare Informationen („Threat Signal“) zu einer Bedrohung vorliegen, und andererseits, wie gut Organisationen sie mit eigenen Mitteln bewältigen können. Ausgerechnet die Sicherheitsinitiativen der großen KI-Anbieter sorgten dabei für zusätzliches Rauschen. „Die Einführung von Sicherheitsinitiativen durch die Frontier-KI-Anbieter erzeugt erhebliches Rauschen in einer ohnehin lauten Bedrohungslandschaft“, wird Analyst John Watts zitiert. Sicherheitsverantwortliche müssten „das Signal im ganzen Rauschen finden“, um auf Verschiebungen reagieren zu können.

Kompromittierte KI-Anwendungen

Mit der wachsenden Zahl produktiv eingesetzter KI-Werkzeuge wächst laut Gartner auch deren Angriffsfläche. Betroffen seien nicht mehr nur öffentlich erreichbare Dienste, sondern ebenso intern gebaute Agenten, Drittanbieter-Integrationen und Anwendungen für die eigene Belegschaft. Bei schwachen Kontrollen lägen sensible Daten oder Zugangsdaten offen.

„Sicherheitsteams müssen ihre Programme über den klassischen Softwareschutz hinaus erweitern“, sagt Watts. Dazu gehöre, die durch GenAI-Modelle und agentische Werkzeuge entstehenden Angriffsflächen systematisch zu erfassen. Helfen soll dabei das hauseigene Framework „TRiSM“ (Trust, Risk and Security Management). Konkret empfiehlt das Unternehmen, einen sicheren Entwicklungszyklus samt Threat Modeling auch auf KI-Anwendungen anzuwenden, die Datensicherheit über bessere Klassifizierung zu stärken, eine zweckgebundene Zugriffssteuerung (PBAC) einzuführen und das Laufzeitverhalten zu überwachen. Den Aufbau müsse niemand bei null beginnen. Am Markt gebe es zahlreiche Startups mit entsprechenden Werkzeugen.

Identitätsdiebstahl per Deepfake

Generative KI habe Menge, Qualität und Verfügbarkeit von Deepfakes bei Stimme, Video und Bild drastisch erhöht, sowohl als vorproduzierte Artefakte als auch in Echtzeit. Angreifer könnten damit biometrische Authentifizierung aushebeln, Social-Engineering-Angriffe auf Beschäftigte in Echtzeit führen und sogar Bewerbungsprozesse unterwandern. Der Einsatz von Deepfakes sei „inzwischen alltäglich“, um Betrug und Phishing schwer erkennbar zu machen, so Watts.

Eine einzelne Schutzmaßnahme genüge nicht. „Es gibt keine einzelne Sicherheitskontrolle, die Sie schützt“, betont Watts. Stattdessen brauche es ein Bündel an Kontrollen, das je nach Anwendungsfall variiert: gehärtete Geschäftsprozesse, geschärftes Bewusstsein der Belegschaft und Erkennungstechnik, wo sie verfügbar ist. Bei der biometrischen Verifikation solle der Fokus auf der Erkennung von Präsentations- und Injection-Angriffen liegen, ergänzt um Kontextsignale. Onlinemeetings ließen sich über Conditional-Access-Richtlinien und die Analyse von Metadaten absichern.

Angriffe auf die Software-Lieferkette

„Die Entwicklung der GenAI-Angebote wird den Trend zu Software-Lieferketten-Angriffen über Schwachstellen in Open-Source-Software nur beschleunigen“, sagt Watts. Organisationen müssten in Richtung vertrauenswürdiger Komponenten-Registries arbeiten, ihre CI/CD-Pipelines härten und robuste Fähigkeiten zur Erkennung und Reaktion auf Anomalien aufbauen.

Empfohlen wird unter anderem, von allen Anbietern Stücklisten in Form von SBOMs und AIBOMs zu verlangen und jede Komponente vor dem Einsatz mit aktueller Bedrohungsinformation zu prüfen. Drittanbieter-Code, Container-Images und KI-Modelle sollten nur aus kuratierten Quellen stammen; Code-Repositories seien per Branch Protection zu schützen. Artefakte sollten beim Build signiert, Build-Systeme nach dem Least-Privilege-Prinzip abgesichert und das Laufzeitverhalten agentischer Werkzeuge laufend überwacht werden.

Prompt Injection

Als vierte kritische Bedrohung nennt Gartner Prompt Injection, also Angriffe, die gezielt KI-Systeme auf Basis großer Sprachmodelle (LLMs) ins Visier nehmen. Durch manipulierte Eingaben lassen sich Modelle dazu bringen, vertrauliche Informationen preiszugeben, unautorisierte Aktionen auszuführen oder Schutzmechanismen zu umgehen. Mit der wachsenden Verbreitung generativer KI wachse auch dieses Risiko.

Gartner empfiehlt eine mehrstufige Abwehr: Eingaben sollen validiert und bereinigt werden, um schädliche Prompts auszufiltern. Auffälliges Verhalten der KI, das auf eine erfolgreiche Injection hindeuten kann, müsse überwacht und gemeldet werden. Tests auf Prompt Injection sollten fest im Entwicklungszyklus verankert und ihre Ergebnisse für bessere Laufzeitkontrollen genutzt werden.