Wer schützt eigentlich Ihre KI?

Mit generativer und agentischer KI entstehen neue Angriffsmöglichkeiten. Auch Angreifer setzen KI für ihre Zwecke ein. Welche Risiken Unternehmen im Blick haben müssen und wie sie die Kontrolle über ihre KI-Systeme behalten, erklärt Werner Schwarz, Director Strategy & Technology bei ACP, im Interview.

it security: Herr Schwarz, KI entwickelt sich vom unterstützenden Werkzeug zum eigenständig handelnden System. Was bedeutet das für die IT-Sicherheit?

Werner Schwarz: Mit agentischer KI verändert sich die Art, wie Unternehmen KI einsetzen. Ein KI-Agent kann Informationen beschaffen, Anwendungen aufrufen, Kundenanfragen bearbeiten oder Bestellungen vorbereiten. Fehler oder Manipulationen können damit nicht nur zu falschen Antworten führen, sondern unerwünschte Aktionen in angebundenen Systemen auslösen.

KI verändert aber auch die Angreiferseite: Angriffe lassen sich schneller vorbereiten, personalisieren und automatisieren. AI Security bedeutet deshalb zweierlei: KI-Systeme selbst zu schützen und die Sicherheitsarchitektur auf eine zunehmend KI-gestützte Bedrohungslandschaft vorzubereiten.

JE MEHR HANDLUNGSMACHT WIR KI GEBEN, DESTO WICHTIGER WIRD DIE KONTROLLE DARÜBER, WORAUF SIE ZUGREIFEN, WAS DIE KI ENTSCHEIDEN UND WAS AUSGEFÜHRT WERDEN DARF.

Werner Schwarz, Director Strategy & Technology, ACP

it security: Welche neuen Sicherheitsrisiken entstehen durch den Einsatz von KI?

Werner Schwarz: KI erweitert die bestehende Angriffsfläche um Modelle, Datenquellen, Schnittstellen und neue Handlungspfade. KI-Systeme werden selbst zum Angriffsziel. Angreifer können etwa Modelle oder Konfigurationen manipulieren, Datenquellen vergiften, Schwachstellen in Laufzeitumgebungen ausnutzen oder über präparierte Anweisungen das Verhalten eines KI-Systems beeinflussen.

Ein weiterer Punkt ist die AI Supply Chain. Externe Modelle, Bibliotheken, Agent Frameworks, Tools und Schnittstellen erweitern die Angriffsfläche und müssen deshalb auch aus Sicherheitssicht bewertet werden. Was wir in der Praxis ebenfalls sehen: Vielen Unternehmen fehlt noch der Überblick darüber, wo und wie KI bereits eingesetzt wird. Mitarbeitende nutzen öffentliche KI-Dienste, Fachbereiche führen eigene Anwendungen ein und Entwickler binden externe Modelle ein. So entsteht Shadow AI außerhalb etablierter Kontrollmechanismen. Der erste Schritt ist deshalb Transparenz: Welche KI-Systeme sind im Einsatz, worauf greifen sie zu und wer trägt dafür die Verantwortung?

it security: Wie lassen sich KI-Systeme umfassend absichern?

Werner Schwarz: Bei AI Security reicht es nicht, nur die einzelne Anwendung oder das Modell abzusichern. Wir müssen uns die gesamte Umgebung ansehen: Identitäten, Daten, Modelle, Schnittstellen, Tools und Infrastruktur. Besonders wichtig wird das bei KI-Agenten. Sobald sie eigenständig auf Systeme zugreifen oder Aktionen ausführen können, muss klar sein, welche Berechtigungen sie haben, was sie tun dürfen und wie sich ihre Aktivitäten nachvollziehen lassen.

Bei ACP betrachten wir AI Security deshalb entlang von fünf Handlungsfeldern: Discover schafft zunächst Transparenz darüber, welche Anwendungen, Modelle, Agenten und Abhängigkeiten vorhanden sind. Bei Identity geht es darum, wer oder was auf welche Ressourcen zugreifen darf, einschließlich technischer und agentischer Identitäten. Data umfasst den Schutz vertraulicher Informationen und ihrer Integrität. Protect sichert Modelle, APIs, RAG, Tools und Infrastruktur gegen Manipulation und Missbrauch. Und Monitor hilft dabei, Aktivitäten nachzuvollziehen und Auffälligkeiten zu erkennen. Wichtig ist, dass diese Bereiche ineinandergreifen.

it security: Wie viel Eigenständigkeit können KI-Agenten erhalten, ohne dass die Kontrolle verloren geht?

Werner Schwarz: Das hängt vom Einsatzzweck und vom möglichen Schaden ab. Ein Agent, der Informationen zusammenfasst, benötigt andere Rechte als ein System, das auf Kundendaten zugreift oder Bestellungen auslöst. Ein Einkaufsagent kann zum Beispiel Lagerbestände prüfen und eine Bestellung vorbereiten. Das heißt aber noch lange nicht, dass er sie auch verbindlich freigeben oder Zahlungsdaten ändern darf. Bei kritischen Vorgängen braucht es Transaktionsgrenzen, klare Freigaben oder einen Menschen, der die Entscheidung bestätigt. Gerade Prompt Injection zeigt, warum das wichtig ist: Manipulierte Anweisungen in Dokumenten, Webseiten oder anderen Inhalten können das Verhalten eines Agenten beeinflussen. Entscheidend ist deshalb, seine Berechtigungen und Handlungsmöglichkeiten technisch so zu begrenzen, dass daraus keine unzulässigen Aktionen in angebundenen Systemen entstehen.

it security: Worauf kommt es beim Schutz von Unternehmensdaten an, wenn KI darauf zugreift?

Werner Schwarz: Ein Mitarbeitender darf über eine KI-Anwendung nicht plötzlich auf Informationen zugreifen, für die ihm bisher die Berechtigung fehlt. Das ist insbesondere bei RAGAnwendungen wichtig, die Sprachmodelle mit internen Wissensbeständen verbinden. Die bestehenden Zugriffsrechte müssen auch dann greifen, wenn die KI Informationen aus Vektordatenbanken und Suchindizes abruft. Für eine Antwort sollten also nur Daten herangezogen werden, die der jeweilige Nutzer auch auf dem direkten Weg einsehen dürfte.

Ebenso wichtig ist die Frage, ob wir den Daten vertrauen können. Werden Informationen in einer Wissensdatenbank gezielt manipuliert, kann sich das unmittelbar auf die Antworten und möglicherweise auch auf nachgelagerte Entscheidungen der KI auswirken. Unternehmen sollten deshalb nachvollziehen können, woher die verwendeten Daten stammen, wer sie verändern darf und welche Änderungen daran vorgenommen wurden.

it security: Was ist für den dauerhaft sicheren Betrieb von KI-Systemen entscheidend?

Werner Schwarz: Auch nach dem Go-live bleibt Sicherheit ein laufendes Thema. KI-Systeme sollten schon vor dem produktiven Einsatz gezielt getestet werden, etwa auf Prompt Injection, Datenabfluss, unerlaubte Tool-Nutzung oder eine Ausweitung von Berechtigungen. Unternehmen müssen Auffälligkeiten erkennen und nachvollziehen können, auf welche Daten und Werkzeuge ein Agent zugegriffen und welche Aktionen er ausgeführt hat. Diese Informationen sollten zuverlässig dokumentiert und vor Manipulation geschützt werden. Das verändert auch die Anforderungen an bestehende Security-Prozesse. Datenzugriffe, Tool-Aufrufe und Aktionen von KI-Systemen und Agenten müssen künftig auch für Security Monitoring und SOC sichtbar und bewertbar werden.

Für AI Security reicht keine einzelne technische Lösung. Es braucht das Zusammenspiel aus Architektur, Governance, technischen Schutzmaßnahmen und sicherem Betrieb. Dazu gehören Transparenz über die eingesetzte KILandschaft, belastbare Sicherheitsarchitekturen, gezielte Tests und eine kontinuierliche Überwachung. Und bei KISystemen geht es längst nicht mehr nur um die Frage: Welche Antwort gibt die KI? Wir müssen auch wissen: Worauf darf sie zugreifen, was darf sie entscheiden und was darf sie ausführen?

it security: Herr Schwarz, vielen Dank für das Gespräch.