Wie Unternehmen Modelle, Daten und KI-Agenten sicher beherrschbar machen

Wer darf auf welches KI-Modell zugreifen? Welche Unternehmensdaten fließen in eine RAG-Anwendung? Und was darf ein KI-Agent eigenständig ausführen? Mit generativer und agentischer KI wächst die Angriffsfläche um Modelle, Datenquellen, APIs sowie neue Berechtigungs- und Aktionspfade.

KI-Systeme werden damit selbst zum Angriffsziel. Modelle und Konfigurationen können manipuliert, Datenquellen vergiftet, Schnittstellen missbraucht und Laufzeitumgebungen kompromittiert werden. Bei Agenten kommt eine weitere Dimension hinzu: Sie greifen auf Anwendungen zu, lösen Prozesse aus und verändern Daten. Manipulationen können dadurch nicht nur falsche Antworten erzeugen, sondern konkrete Aktionen in angebundenen Systemen auslösen.

Fünf Fragen helfen bei der Absicherung von KI-Systemen: Was läuft? Wer greift zu? Welche Daten werden genutzt? Wie schützen wir die KI? Was muss überwacht werden? ACP bündelt die dafür relevanten Kontrollen in den fünf Handlungsfeldern Discover, Identity, Data, Protect und Monitor.

Discover: KI und Abhängigkeiten sichtbar machen

Wer KI schützen will, muss zunächst wissen, welche KI-Assets vorhanden sind. In ein KI-Inventar gehören Anwendungen, Modelle und Modellversionen, Datenquellen, RAG-Komponenten, APIs, Tools, Agenten, Laufzeitumgebungen und externe Dienste.

Gerade durch Schatten-KI können Datenflüsse und Abhängigkeiten außerhalb etablierter Kontrollmechanismen entstehen. Nutzen Mitarbeitende nicht freigegebene KI-Dienste oder führen Fachbereiche eigenständig KI-Anwendungen ein, fehlen diese häufig in zentralen Inventaren. Zu jeder KI-Anwendung sollten deshalb Verantwortlichkeit, Einsatzzweck, Abhängigkeiten und Risiken dokumentiert sein.

Identity: Identitäten und Berechtigungen kontrollieren

Zu kontrollieren ist nicht nur, wer ein Modell nutzen darf. Entscheidend ist auch, wer Modelle oder Konfigurationen verändern, Datenquellen anbinden, Tools freigeben oder Agenten konfigurieren darf. Agenten benötigen eindeutig zuordenbare technische Identitäten sowie klar definierte und, wo erforderlich, delegierte Berechtigungen.

Das Prinzip der geringsten Rechte gilt auch hier. Ein Support-Agent kann beispielsweise Leserechte auf Kontaktdaten und Tickets benötigen, ohne Stammdaten ändern oder administrative Funktionen aufrufen zu dürfen. Rechte müssen begrenzbar, zeitlich beschränkbar und entziehbar sein. Nachvollziehbar bleiben muss, in wessen Auftrag ein Agent handelt und welche Berechtigungen dabei gelten.

Data: Datenzugriff und Datenintegrität schützen

RAG-Anwendungen (Retrieval-Augmented Generation) verbinden Sprachmodelle mit internen Informationsbeständen. Hat ein Mitarbeitender keinen Zugriff auf ein Dokument, darf er dessen Inhalt auch nicht über die KI erhalten. Berechtigungen müssen deshalb bis zum Abruf durchgesetzt werden. Das gilt ebenso für Vektordatenbanken und Indizes: Nur Inhalte, auf die der jeweilige Nutzer zugreifen darf, dürfen in den Kontext einer Anfrage gelangen.

Doch nicht nur der Zugriff auf Daten ist kritisch. Auch die Datenbasis der KI selbst kann zum Angriffsziel werden. Beim Data oder Knowledge Poisoning werden Trainings-, Fine-Tuning-, Kontext- oder Wissensdaten manipuliert, um Verhalten oder Ergebnisse eines KI-Systems zu beeinflussen. Herkunft, Integrität und Vertrauenswürdigkeit der verwendeten Daten müssen deshalb ebenso kontrolliert werden wie ihre Vertraulichkeit.

Protect: KI vor Manipulation und Missbrauch schützen

Der Schutz beginnt bei der technischen Basis. Server, GPU-Ressourcen, Container, Storage und Plattformdienste müssen gehärtet, aktuell gehalten und angemessen isoliert werden. Netzwerksegmentierung, Zero-Trust-Prinzipien und Datentransfer-Kontrollen begrenzen zusätzlich, welche Datenquellen, APIs, Tools und externen Dienste ein KI-System überhaupt erreichen kann. Ebenso müssen Zugangsdaten, Secrets und API-Schlüssel von KI-Diensten und Agenten vor unberechtigtem Zugriff, Offenlegung und Missbrauch geschützt werden.

Auch Modelle selbst sind schützenswerte Assets. Modellartefakte, Konfigurationen und Anwendungs-Endpunkte müssen vor unberechtigtem Zugriff und Manipulation geschützt werden.

Ein besonderer Angriffspfad entsteht durch Prompt Injection. Manipulierte Instruktionen können direkt über Nutzereingaben oder indirekt über Dokumente, Webseiten und andere Inhalte in den Modellkontext gelangen. Bei Agenten ist das besonders kritisch, weil manipulierte Instruktionen die Auswahl oder Parametrisierung von Tools beeinflussen und dadurch Aktionen in angebundenen Systemen auslösen können.

Deshalb muss technisch begrenzt werden, welche Aktionen ein Agent tatsächlich ausführen darf. Kritische Vorgänge können Freigaben, Transaktionsgrenzen oder menschliche Bestätigungen erfordern. Ein Agent kann beispielsweise einen Bestellvorgang vorbereiten, ohne ihn selbst freigeben zu dürfen.

Auch die KI Supply Chain gehört zur Sicherheitsbetrachtung. Bei externen Modellen, Frameworks, APIs und Open-Source-Komponenten sind Herkunft, Integrität, Datenzugriffe und erreichbare Funktionen zu prüfen.

Monitor: Angriffe erkennen und Handlungspfade nachvollziehen

Unternehmen müssen erkennen können, wenn sich Nutzung, Konfiguration oder Verhalten eines KI-Systems ungewöhnlich verändern. Dazu gehören etwa auffällige Modellzugriffe, Prompt-Injektions-Versuche, Änderungen an Konfigurationen, neue Datenquellen oder Tools sowie ungewöhnliche Agentenaktionen.

Bei agentischen Systemen kommt die Nachvollziehbarkeit des gesamten Handlungspfads hinzu. Für sicherheitsrelevante Aktionen sollte sich rekonstruieren lassen, wie aus einem ursprünglichen Auftrag eine konkrete Aktion entstanden ist.

Die dafür relevanten Informationen müssen nachvollziehbar und gegen unbemerkte Veränderungen geschützt sein. Damit stehen belastbare Daten für Detektion, forensische Analysen und Audits zur Verfügung.

AI Security ist eine Architekturaufgabe

KI-Systeme werden zu geschäftskritischen Bestandteilen der Unternehmens-IT und müssen deshalb selbst geschützt werden: ihre Modelle, Daten, Schnittstellen, Identitäten und Laufzeitumgebungen. Dafür müssen bewährte Sicherheitsprinzipien auf KI-Assets, Identitäten und Handlungspfade übertragen und um KI-spezifische Kontrollen ergänzt werden.

Governance, regulatorische Anforderungen und Auditierbarkeit bilden den Rahmen über alle fünf Handlungsfelder. Dazu gehören klare Verantwortlichkeiten, sichere Betriebsprozesse, ein geregelter Lebenszyklus für Modelle und Komponenten sowie regelmäßige Sicherheits-Tests, mit denen die Wirksamkeit der Schutzmaßnahmen überprüft wird.

Mit agentischer KI kommt eine zusätzliche Frage hinzu: Was darf die KI tun? Je mehr Handlungsspielraum ein Agent erhält, desto enger müssen Identität, Berechtigung und ausführbare Aktion miteinander verknüpft sein. Ein Agent, der Daten lesen darf, muss sie nicht automatisch verändern können. Was technisch möglich ist, darf für einen KI-Agenten nicht automatisch erlaubt sein.

Auf der it-sa 2026 zeigt ACP das Zusammenspiel der fünf Handlungsfelder in einer durchgängigen AI-Security-Architektur. Mehr dazu erfahren Sie im Vortrag „Wer schützt eigentlich Ihre KI?“ von Manuel Götz und Jan Köhler am 28.10.2026 um 11:45 Uhr im Forum B. ACP | it-sa 2026 | Halle 7A | Stand 322