Thought Leadership
KI verändert die Sicherheitsfrage in Unternehmen. Es geht nicht mehr nur darum, einzelne Anwendungen oder Zugriffsrechte zu schützen.
Entscheidend wird, wie sich Vertrauen in Systeme verankern lässt, die nicht mehr nur Informationen ausgeben, sondern im Auftrag des Unternehmens handeln.
Über Jahre hinweg basierte Cybersicherheit auf einer stabilen Annahme: Systeme folgen definierter Logik. Anwendungen führen aus, was programmiert wurde. Menschen authentifizieren sich, erhalten Rollen und greifen auf bestimmte Ressourcen zu. Bei KI-Systemen trägt dieses Modell nur noch bedingt. Moderne KI greift auf Daten, Prompts, Modelle, Kontext-Pipelines und externe Werkzeuge zu. Sie interpretiert Ziele, nutzt wechselnde Informationen und kann daraus eigenständig Aktionen ableiten.
Damit verschiebt sich die Angriffsfläche. Risiken entstehen nicht erst im produktiven Betrieb und nicht nur an klassischen Schwachstellen. Sie können schon dort auftreten, wo Daten ausgewählt, Modelle trainiert, Prompts formuliert, Schnittstellen angebunden und Berechtigungen vergeben werden. KI-Security muss deshalb früher ansetzen und länger greifen: vor dem Go-live, im Betrieb und überall dort, wo KI lernt, entscheidet oder handelt.
Autonomie braucht klare Grenzen
Der Schritt von KI als Assistenzsystem hin zu agentischer und autonomer KI verändert die Sicherheitsanforderungen deutlich. KI-Agenten beantworten nicht nur Fragen. Sie koordinieren Aufgaben, rufen Informationen ab, nutzen Tools und stoßen Prozesse an. Wenn dabei etwas schiefläuft, bleibt es nicht zwingend bei einer falschen Antwort. Es kann Abläufe, Entscheidungen und Ergebnisse beeinflussen.
Sichere Autonomie bedeutet deshalb nicht, jede Aktion manuell freizugeben. Sinnvoller ist eine Kontrolle, die sich am Risiko orientiert. Aufgaben mit geringer Auswirkung können weitgehend automatisiert laufen. Kritische Aktionen, etwa Änderungen an Kundendaten, Freigaben in Finanzprozessen oder Eingriffe in produktive Systeme, brauchen engere Leitplanken.
Dazu gehören klare Eskalationswege, definierte Verantwortlichkeiten und technische Stoppschalter, die auch im laufenden Betrieb greifen. Wenn ein Agent unerwartet handelt, muss sich dieses Verhalten schnell begrenzen oder stoppen lassen.
Kontext wird zur Schwachstelle
Der Kontext macht KI-Agenten nützlich. Er umfasst interne Dokumente, Kundensignale, Prozessdaten, frühere Entscheidungen und externe Quellen. Genau dieser Kontext wird aber auch zum neuen Kontrollpunkt. Denn er bestimmt, wie ein Agent eine Aufgabe versteht und welche Handlung er daraus ableitet.
Context Poisoning zeigt, warum klassische Prüfmechanismen zu kurz greifen. Wird eine Wissensdatenbank manipuliert, eine Retrieval-Pipeline mit falschen Informationen versorgt oder ein internes Dokument gezielt verändert, kann ein KI-System falsche Schlüsse ziehen, obwohl das Modell technisch korrekt arbeitet. Der Fehler liegt dann nicht im Code, sondern in der Entscheidungsgrundlage.
Deshalb reicht es nicht, nur Eingaben, Ausgaben, Infrastruktur oder Zugriffe zu prüfen. Entscheidend wird, Herkunft, Integrität und Aktualität des Kontexts abzusichern. Guardrails dürfen nicht nur Antworten filtern. Sie müssen auch beobachten, welche Informationen ein Agent nutzt, wie er sie bewertet und welche Aktionen daraus entstehen.
Ein möglicher Ansatz sind sogenannte Guardian Agents: Kontrollinstanzen, die andere Agenten überwachen, ihr Verhalten prüfen und Auffälligkeiten melden. Entscheidend ist weniger der Begriff als das Prinzip dahinter. In adaptiven Systemen müssen auch Sicherheitskontrollen dynamischer werden.
Agenten brauchen eigene Identitäten
Klassische Cybersicherheitskontrollen unterscheiden meist zwischen Menschen und Anwendungen. KI-Agenten passen nicht sauber in eine dieser Kategorien. Sie handeln im Auftrag von Menschen, nutzen Anwendungen und treffen zugleich operative Entscheidungen. Dadurch entsteht eine zentrale Frage: Wer hat eigentlich gehandelt?
Jeder Agent sollte eindeutig identifizierbar sein. Jede relevante Aktion muss nachvollziehbar machen, welcher Agent aktiv war, mit welchem Auftrag, auf welcher Datenbasis und mit welchen Berechtigungen. Ohne diese Zuordnung lassen sich Fehlverhalten, Missbrauch oder Compliance-Verstöße kaum sauber untersuchen.
Ebenso wichtig ist das Prinzip minimaler Rechte. Agenten sollten nur auf die Daten und Systeme zugreifen können, die sie für eine konkrete Aufgabe benötigen. Ein Agent im Kundenservice braucht andere Berechtigungen als ein Agent, der Änderungen in einem ERP- oder CRM-System auslöst. Rechte sollten deshalb kontextabhängig vergeben, begrenzt und regelmäßig überprüft werden.
Manipulationssichere Audit-Protokolle dokumentieren, welche Informationen genutzt, welche Schnittstellen angesprochen und welche Aktionen ausgeführt wurden. Das schafft Nachvollziehbarkeit vor der Freigabe und im laufenden Betrieb.
Sicherheit vor und nach dem Go-live
KI-Security braucht zwei Ebenen. Vor dem Go-live müssen Daten, Modelle, Prompts, Schnittstellen und Berechtigungen geprüft werden. Welche Daten wurden verwendet? Wie wurden Modelle trainiert oder angepasst? Welche Systemanweisungen steuern das Verhalten? Welche externen Tools sind angebunden? Welche Aktionen darf ein Agent auslösen?
Diese Build-Time-Kontrollen entscheiden darüber, ob ein KI-System produktiv eingesetzt werden sollte. Sie reichen aber nicht aus. Nach dem Go-live arbeiten KI-Systeme mit neuen Daten, wechselnden Kontexten und veränderten Anforderungen. Ihr Verhalten kann sich verschieben, ohne dass ein klassischer Softwarefehler vorliegt.
Deshalb braucht es Run-Time-Kontrollen. Sie prüfen laufend, ob Ergebnisse plausibel bleiben, ob Agenten ungewöhnliche Aktionen ausführen, ob Datenquellen manipuliert wurden und ob definierte Grenzen eingehalten werden. Aus dem klassischen Secure Software Development Lifecycle wird damit ein Sicherheitsansatz, der auch Lernen, Kontext, Entscheidungen und Aktionen berücksichtigt.
Governance wird zur Daueraufgabe
KI vergrößert nicht nur die Möglichkeiten der Abwehr, sondern auch die Komplexität der Sicherheitsarchitektur. Einzelne Tools werden dieses Problem nicht lösen. Gefragt ist ein durchgängiger Ansatz, der KI- und Nicht-KI-Systeme gemeinsam betrachtet, Sicherheitssignale zusammenführt und mögliche Auswirkungen über Prozesse hinweg sichtbar macht.
Auch Governance muss sich daran anpassen. Periodische Reviews reichen für adaptive Systeme nicht aus. Es braucht eine laufende Bewertung, ob Modelle erwartungsgemäß handeln, Entscheidungen nachvollziehbar bleiben und Risiken früh genug erkannt werden. Dazu gehören klare Verantwortlichkeiten, regulatorische Einordnung und technische Metriken: Wie schnell werden Anomalien erkannt? Wie zuverlässig lassen sich riskante Aktionen stoppen oder zurückrollen? Welche Datenquellen sind in Entscheidungen eingeflossen?
Für Unternehmen wird damit entscheidend, Vertrauen nicht erst nachträglich zu prüfen, sondern technisch zu verankern: in Daten, Kontext, Modellen, Agentenidentitäten, Berechtigungen und laufender Überwachung. Nur so lässt sich KI skalieren, ohne Kontrolle und Nachvollziehbarkeit zu verlieren.
