KI im IT-Servicemanagement von Beginn an unter Kontrolle behalten

Der Ausweg ist nicht der Stopp von KI, sondern kontrollierte KI – von Anfang an.

Kaum ein Anbieter im IT-Servicemanagement (ITSM) kommt derzeit ohne das Versprechen autonomer KI-Agenten aus. Agenten sollen Tickets ganz ohne menschliches Zutun klassifizieren, Berechtigungen vergeben und Anfragen lösen können. Doch die Einführung von KI verläuft deutlich schneller als der Aufbau der nötigen Kontrollstrukturen. Laut einer aktuellen internationalen Deloitte-Umfrage verfügen nur 21 Prozent der Unternehmen über ausgereifte Governance-Strukturen für risikobasierte KI.

Das ist ein Problem, denn ein KI-Agent trägt keine Rechenschaft, das Unternehmen schon. Jede Entscheidung eines Agenten muss sich gegenüber Auditoren, Datenschutzbeauftragten und Fachbereichen rechtfertigen lassen. Organisationen, die Governance erst nachrüsten, wenn die Agenten bereits laufen, kommen zu spät.

Governance vor Autonomie

Governance muss also am Anfang stehen, statt nachträglich ergänzt zu werden. Bevor ein Agent live geht, muss feststehen, was er darf und was nicht. Autonome Abläufe sind durchaus möglich, etwa beim Zurücksetzen von Passwörtern, bei Statusabfragen oder bei Standardanfragen aus dem Servicekatalog. Doch auch diese Autonomie ist eine bewusste Governance-Entscheidung, keine technische Voreinstellung. Dabei gibt es folgende Fragen zu beantworten: Ist das Ergebnis vorhersehbar? Sind die Folgen eines Fehlers überschaubar? Lässt er sich leicht korrigieren? Nur wenn alle drei mit Ja beantwortet werden, ist Autonomie vertretbar.

Kritisch wird es, sobald Kontext, Ermessen oder weitreichende Berechtigungen ins Spiel kommen. Genehmigt ein Agent erweiterte Zugriffsrechte ohne Blick auf Datenschutz- und Sicherheitsrichtlinien, verletzt er das Least-Privilege-Prinzip und kann dabei im schlimmsten Fall sensible Informationen an Unbefugte weitergeben. Zwei weitere Beispiele aus der Praxis: Landet ein falsch priorisiertes Ticket in der falschen Queue, verzögert sich die Behebung eines kritischen Vorfalls. Stützt sich ein Agent auf veraltete Wissensartikel, führt er Nutzer in die Irre. Die meisten Fehler passieren leise im Tagesgeschäft und fallen oft erst auf, wenn der Schaden bereits entstanden ist.

Die Transparenz- und Kennzeichnungspflicht des EU AI Acts greift ab dem 2. Dezember 2026. Spätestens hier zeigt sich der Preis nachträglicher Governance besonders deutlich. Wer jetzt noch schnell nachrüsten und bestehende KI-Abläufe kurzfristig konform machen will, muss unter hohem Zeitdruck Prozesse nachträglich dokumentieren, prüfen und anpassen – eine Knochenarbeit, die sich kaum noch sauber bewältigen lässt. Deshalb gilt es, die Governance-Strukturen schon vor der Implementierung von KI-Programmen umzusetzen.

Nachvollziehbarkeit bringt KI-Vertrauen

Vertrauen in KI entsteht vor allem durch Verständnis. Dazu gehört, wie das System zu seinen Ergebnissen kommt, auf welche Daten es zugreift und wo diese verarbeitet werden. Ein Agent sollte begründen können, auf welche Tickets, Artikel oder Regeln er sich stützt. Und er sollte Unsicherheit zeigen, anstatt immer eine Antwort parat zu haben. Vertrauen ohne Nachvollziehbarkeit ist nichts anderes als Abhängigkeit. Das beginnt mit einer Designentscheidung: KI-Funktionen sollten per Opt-in aktiviert werden, statt standardmäßig eingeschaltet zu sein. Vor jeder Integration müssen außerdem drei operative Fragen geklärt sein:

• Lässt sich ein Agent jederzeit stoppen?
• Können Aktionen rückgängig gemacht werden?
• Ist jede Entscheidung in einem Audit-Trail dokumentiert?

Klare Regeln schaffen Handlungssicherheit

Jede Organisation braucht verbindliche Antworten auf drei Fragen:

• Was darf die KI eigenständig tun?
• Was erfordert eine menschliche Überprüfung?
• Was darf niemals ohne Validierung live gehen?

Maßstab ist dabei das Risiko und die Tragweite, nicht die technische Machbarkeit. Bestehende ITSM-Mechanismen wie Change Enablement, Freigaben und rollenbasierte Berechtigungen bieten dafür einen bewährten Rahmen. KI muss bei solchen Prozessen mitbedacht werden und nicht einfach an ihnen vorbeilaufen.

Ein Beispiel aus dem HR-Bereich: Benachteiligt ein KI-System systematisch Bewerber anhand bestimmter Merkmale, ist das nach den Regelungen des EU AI Acts nicht nur ein ethisches Problem. Es ist auch ein regulatorisches Problem, das schnell in einen Rechtsstreit münden kann. Menschen müssen solche Muster erkennen und jederzeit eingreifen können.

KI-Governance bewährt sich im Fehlerfall

Ob die internen Governance-Strukturen funktionieren, zeigt sich erst, wenn etwas schief läuft. Erst wenn eine problematische Entscheidung überhaupt erkannt wurde, ein Mensch rechtzeitig eingriff und sich die KI stoppen ließ, bevor Schaden entstand, kann von einer funktionierenden KI-Governance gesprochen werden. Anschließend zählt auch, ob die wiederkehrenden Fehler in neue Regeln und Testfälle übersetzt wurden.

Daraus lassen sich messbare Kennzahlen ableiten: Wie viele kritische Fälle wurden korrekt eskaliert? Wie viele riskante Vorgänge fielen nur zufällig auf? Wie schnell ließ sich eine fehlerhafte Aktion rückgängig machen? Regelmäßig überprüft, sorgen diese Kennzahlen dafür, dass Governance gelebt wird, anstatt im Ordner zu verstauben.

Ohne Governance kein Vertrauen; ohne Vertrauen keine Autonomie

Wichtig ist nicht, ob KI im ITSM autonomer wird, sondern unter welchen Bedingungen. Unternehmen, die KI von Beginn an autonom arbeiten lassen, schenken ihr Vertrauen im Voraus. Wer dagegen auf nachvollziehbare Entscheidungen, klare Grenzen und menschliche Kontrolle setzt, sorgt dafür, dass dieses Vertrauen auch begründet ist. Mit Governance zu beginnen, heißt nicht auf Automatisierung zu verzichten. Es schafft die Grundlage, KI dort zu skalieren, wo sie sich bewährt hat.