Erhebliche Governance-Lücke bei KI-Agenten

Ein neuer Report von Proofpoint zeigt, dass zwar viele Organisationen Regeln für den Umgang mit Daten und Systemen festgelegt haben, aber nur wenige das Verhalten ihrer KI-Agenten kontinuierlich kontrollieren.

Viele Agenten, wenig Kontrolle

65,4 Prozent der befragten Unternehmen in Deutschland setzen KI-Agenten bereits umfassend oder unternehmensweit ein. Bei 22,9 Prozent sind sie fest in zentrale Geschäftsprozesse eingebunden. Eine kontinuierliche Überwachung der Agentenaktivitäten findet allerdings nur bei 9,3 Prozent statt.

Auch bei der Vergabe von Zugriffsrechten zeigt sich eine Diskrepanz zwischen Anspruch und Umsetzung. Zwar geben 76,6 Prozent der Befragten an, klare Richtlinien für KI-Agenten und deren Umgang mit Daten und Systemen durchzusetzen. Von diesen Unternehmen räumen jedoch 55,4 Prozent ein, dass ihre Agenten auf mehr sensible Informationen zugreifen können, als sie für ihre Aufgaben benötigen.

Die Risiken werden durchaus erkannt: 45,4 Prozent der befragten Unternehmen rechnen damit, dass innerhalb der kommenden zwölf Monate ein Sicherheitsvorfall eintritt, der zumindest teilweise auf einen KI-Agenten zurückzuführen ist.

Verantwortlichkeit erfordert Einblick in das Verhalten

Regeln und Berechtigungen allein reichen nach Einschätzung von Proofpoint nicht aus, um den sicheren Einsatz autonomer Systeme zu gewährleisten. Unternehmen müssen nachvollziehen können, welche Aktionen ein Agent ausführt, welche Entscheidungen dahinterstehen und ob sein Verhalten noch mit dem ursprünglichen Auftrag übereinstimmt.

Patric J. M. Versteeg, Field Chief Technology Officer für die DACH-Region bei Proofpoint, sieht deshalb die Transparenz als zentrale Voraussetzung für eine wirksame Steuerung. Mit zunehmender Autonomie der Systeme müsse überprüfbar sein, ob sie innerhalb ihres vorgesehenen Aufgabenbereichs handeln.

84,4 Prozent der Befragten vertreten zudem die Ansicht, dass KI-Agenten ähnlich stark zur Verantwortung gezogen werden sollten wie menschliche Mitarbeitende. Um diesem Anspruch gerecht zu werden, empfiehlt Proofpoint eine automatisierte Überwachung in Echtzeit. Sie soll Auffälligkeiten möglichst früh erkennen und Sicherheitsteams dabei unterstützen, bei Bedarf einzugreifen.

Fünf Ansatzpunkte für eine wirksame Governance

Mit dem „Agent Integrity Framework“ beschreibt Proofpoint fünf Bereiche, die Unternehmen beim sicheren Betrieb von KI-Agenten berücksichtigen sollten.

Zweck und Aufgaben im Blick behalten

Die Aktionen eines Agenten müssen zu seinem ursprünglichen Auftrag passen. Unternehmen sollten deshalb den Ablauf seiner Arbeit überwachen und erkennen können, wenn er von der vorgesehenen Aufgabe abweicht.

Identitäten und Aktionen zuordnen

Jede Aktivität sollte sich einem bestimmten KI-Agenten, dem verantwortlichen Nutzer und dem jeweiligen Zweck zuordnen lassen. Das ist besonders wichtig, wenn mehrere Agenten in einem gemeinsamen Workflow zusammenarbeiten.

Abweichungen im Verhalten erkennen

Unternehmen benötigen Informationen darüber, wie sich ihre Agenten normalerweise verhalten. Veränderungen und ungewöhnliche Aktionen können Hinweise darauf geben, dass ein System außerhalb seines vorgesehenen Einsatzbereichs arbeitet.

Aktivitäten lückenlos dokumentieren

Audit-Protokolle sollen nachvollziehbar machen, welche Aktionen ausgeführt wurden und welche sicherheitsrelevanten Ereignisse auftraten. Damit lassen sich unter anderem mögliche Datenoffenlegungen und Verstöße gegen interne Richtlinien untersuchen.

Einhaltung von Vorgaben nachweisen

Die Organisationen müssen überprüfen können, ob ihre KI-Agenten die geltenden Sicherheits- und Governance-Anforderungen erfüllen. Eine nachvollziehbare Dokumentation unterstützt dabei auch interne Kontrollen und die Einhaltung regulatorischer Vorgaben.

KI-Sicherheit in bestehende Prozesse integrieren

Die fünf Bereiche sollen gemeinsam sicherstellen, dass Identität, Berechtigungen, Auftrag und tatsächliches Verhalten eines Agenten zusammenpassen. Dafür müssen Unternehmen nicht nur Regeln definieren, sondern auch technische Möglichkeiten schaffen, um deren Einhaltung fortlaufend zu prüfen.

Proofpoint verweist in diesem Zusammenhang auf seine AI Security Platform, mit der sich KI-Anwendungen in bestehende Sicherheits- und Governance-Strukturen einbinden lassen sollen. Die Ergebnisse des Reports verdeutlichen vor allem eine Herausforderung: Je selbstständiger KI-Agenten arbeiten, desto wichtiger werden kontinuierliche Kontrolle, nachvollziehbare Aktivitäten und klar zugeordnete Verantwortlichkeiten.

(red/Proofpoint)