“Die Kontrolle über KI darf nicht von der KI selbst abhängen.”

KI-Agenten analysieren Informationen, stoßen Prozesse an und übernehmen zunehmend Aufgaben, deren Ergebnisse weitreichende Konsequenzen haben können. Damit verändert sich auch die Frage, wie Unternehmen den Einsatz dieser Systeme verantwortungsvoll gestalten.

Eine zentrale Herausforderung besteht darin, verbindliche Vorgaben nicht nur zu definieren, sondern ihre Einhaltung dauerhaft sicherzustellen. Datenschutz, interne Richtlinien und gesetzliche Bestimmungen müssen unabhängig davon gelten, welche Aufgabe ein Agent gerade bearbeitet oder welche Informationen ihm während seiner Arbeit zur Verfügung stehen.

In der Praxis werden solche Anforderungen häufig über Prompts vermittelt. Die Systeme erhalten Anweisungen dazu, welche Entscheidungen zulässig sind, welche Daten verarbeitet werden dürfen und welche Verfahrensschritte einzuhalten sind. Doch eine sprachlich formulierte Regel ist noch keine technische Garantie.

Ein KI-Agent kann nach außen weiterhin plausible Ergebnisse liefern, obwohl er bereits gegen eine wichtige Vorgabe verstoßen hat. Der Fehler bleibt möglicherweise zunächst unbemerkt und wird erst bei einer späteren Überprüfung sichtbar. Zu diesem Zeitpunkt können Schäden mit rechtlichen oder finanziellen Konsequenzen bereits eingetreten sein.

Dabei handelt es sich um das aus der KI-Forschung bekannte Phänomen des „Catastrophic Forgetting“. Es beschreibt, dass künstliche neuronale Netze zuvor erworbenes Wissen durch das Lernen neuer Inhalte teilweise verlieren können. Für den Unternehmenseinsatz ergibt sich daraus eine grundlegende Fragestellung: Wie lassen sich Regeln zuverlässig durchsetzen, wenn ein System fortlaufend neue Informationen verarbeitet, weitere Aufgaben übernimmt und sich mit wechselnden Rahmenbedingungen auseinandersetzen muss?

Die Tragweite dieser Frage hängt maßgeblich vom Einsatzgebiet ab. Ein fehlerhafter Textentwurf lässt sich meist unkompliziert überarbeiten. Eine automatisierte Bewertung, die über die Vergabe eines Immobilienkredits, die Regulierung eines Versicherungsschadens oder eine medizinische Maßnahme mitentscheidet, kann dagegen erhebliche Auswirkungen haben. Mit der Verantwortung wächst deshalb auch der Bedarf an wirksamen Schutzvorkehrungen.

Warum gute Anweisungen allein keine Sicherheit schaffen

Moderne KI-Modelle können komplexe Vorgaben verstehen und bei der Bearbeitung einer Aufgabe berücksichtigen. Trotzdem lässt sich daraus nicht ableiten, dass sie jede Regel in jeder Situation korrekt anwenden. Werden sämtliche Kontrollaufgaben dem Agenten selbst übertragen, entsteht ein strukturelles Risiko: Das System muss seine eigenen Grenzen erkennen und zugleich dafür sorgen, dass es diese nicht überschreitet.

Während der Ausführung einer Aufgabe verändert sich der Informationskontext kontinuierlich. Der Agent greift auf Daten zu, erhält neue Instruktionen, verwendet Werkzeuge und reagiert auf Zwischenergebnisse. Dabei können unterschiedliche Anforderungen miteinander konkurrieren. Was für die unmittelbare Aufgabenerfüllung relevant erscheint, kann die Aufmerksamkeit von übergeordneten Compliance- oder Datenschutzvorgaben ablenken.

Problematisch wird diese Konstellation insbesondere dann, wenn das angestrebte Ergebnis und eine verbindliche Regel scheinbar miteinander in Konflikt stehen. Ein Modell könnte beispielsweise eine Vorgehensweise als besonders effizient bewerten, obwohl diese außerhalb seiner zulässigen Befugnisse liegt. Dass die ursprüngliche Anweisung bekannt ist, bedeutet nicht automatisch, dass sie in diesem Moment zuverlässig umgesetzt wird.

Unternehmen sollten deshalb nicht davon ausgehen, dass ein Agent seine eigene Regelkonformität jederzeit ausreichend überwachen kann. Die Kontrolle über ein System darf nicht ausschließlich von den Fähigkeiten desselben Systems abhängen, dessen Verhalten begrenzt werden soll.

Daraus folgt eine wichtige Konsequenz für die Gestaltung von KI-Anwendungen: Verbindliche Anforderungen müssen Teil der technischen Ausführung werden. Sie sollten nicht lediglich als Empfehlungen oder textliche Hinweise vorliegen, sondern konkrete Grenzen dafür definieren, welche Aktionen möglich sind und welche nicht.

Ein Prompt kann das gewünschte Verhalten beschreiben. Er ersetzt jedoch weder ein Berechtigungskonzept noch technische Zugriffsbeschränkungen, festgelegte Freigabeverfahren oder unabhängige Kontrollen. Erst das Zusammenspiel dieser Elemente schafft eine belastbare Grundlage für den Einsatz in sensiblen Geschäftsbereichen.

Autonomie braucht ein klares Berechtigungsmodell

Unternehmen haben längst Verfahren etabliert, um die Entscheidungsfreiheit ihrer Mitarbeitenden zu regeln. Beschäftigte verfügen über bestimmte Zuständigkeiten, dürfen nur auf freigegebene Informationen zugreifen und müssen für ausgewählte Vorgänge eine Genehmigung einholen. Bei besonders risikoreichen Entscheidungen sind zusätzliche Prüfungen oder klar definierte Verantwortlichkeiten vorgesehen.

Für KI-Agenten sollte ein vergleichbares Prinzip gelten. Vor der Einführung in einen Geschäftsprozess muss festgelegt werden, welche Tätigkeiten sie eigenständig durchführen dürfen, welche Aktionen einer zusätzlichen Prüfung bedürfen und an welchen Stellen ein Mensch entscheiden muss.

Ebenso wichtig ist die Definition von Grenzen, die nicht überschritten werden dürfen. Dazu zählen beispielsweise Einschränkungen bei Datenzugriffen, die Trennung von Zuständigkeiten oder das Verbot bestimmter Transaktionen. Solche Festlegungen sollten nicht allein in der Beschreibung des Agenten stehen, sondern sich in seinen tatsächlichen Zugriffsrechten und den technischen Abläufen widerspiegeln.

Eine zentrale Rolle spielt dabei das Geschäftsprozessmanagement. Es ermöglicht Unternehmen, Arbeitsabläufe strukturiert abzubilden, Verantwortlichkeiten zuzuordnen und die Zusammenarbeit zwischen Menschen, Anwendungen und automatisierten Systemen zu organisieren. Genehmigungen, Eskalationen und Kontrollschritte lassen sich dadurch als feste Bestandteile eines Prozesses definieren.

Welche Freiheiten ein Agent erhalten sollte, ist vom jeweiligen Einsatz abhängig. Ein überschaubarer Routinevorgang kann einen hohen Automatisierungsgrad erlauben. Bei komplexen Entscheidungen mit rechtlichen, finanziellen oder gesundheitlichen Folgen sind dagegen engere Grenzen und zusätzliche Prüfungen sinnvoll. Auch branchenspezifische Vorschriften beeinflussen, wie weit die Entscheidungsbefugnis eines Systems reichen darf.

Das Ziel besteht nicht darin, KI möglichst stark einzuschränken. Vielmehr geht es darum, den Handlungsspielraum gezielt auf das Maß zu begrenzen, das der jeweilige Prozess verantworten kann. Ein Agent soll seine Aufgaben möglichst selbstständig erledigen, während das Unternehmen jederzeit die Kontrolle über seine Befugnisse und die Folgen seiner Handlungen behält.

Der AI Harness als Verbindung zwischen Modell und Prozess

Damit kontrollierte Autonomie im operativen Betrieb funktioniert, braucht es eine zusätzliche Steuerungsebene, die das KI-Modell in die bestehenden Abläufe einbettet. Sie bestimmt, in welchem Zusammenhang der Agent tätig wird, welche Informationen er berücksichtigen muss und auf welche Ressourcen er zugreifen darf.

Der sogenannte AI Harness verbindet den Agenten mit dem Geschäftsprozess und stellt sicher, dass seine Arbeit innerhalb eines definierten organisatorischen und technischen Rahmens stattfindet.

Zu diesem Rahmen gehört mehr als die aktuelle Aufgabenbeschreibung. Relevant sind unter anderem die geltenden Geschäftsregeln, der bisherige Verlauf des Vorgangs, die Rolle des Agenten und die beteiligten Personen oder IT-Systeme. Darüber hinaus können vorhandene Genehmigungen, bereits getroffene Entscheidungen, benötigte Dokumente und die verfügbaren Werkzeuge berücksichtigt werden.

Der Agent erhält auf diese Weise einen strukturierten Kontext, der auf seine jeweilige Aufgabe zugeschnitten ist. Gleichzeitig wird festgelegt, welche Funktionen er verwenden und welche Informationen er einsehen darf. Seine Fähigkeiten werden so mit den konkreten Anforderungen des Unternehmens verknüpft.

Das ist vor allem in komplexen Geschäftsprozessen wichtig. Betriebliche Abläufe folgen nicht immer einem starren Muster. Neue Sachverhalte können zusätzliche Prüfungen erforderlich machen, Ausnahmen müssen bewertet werden und veränderte Rahmenbedingungen können eine Anpassung des Vorgehens notwendig machen. Je dynamischer ein Prozess ist, desto weniger genügt es, das Verhalten eines Agenten allein über eine statische Anweisung zu steuern.

Eine übergeordnete Steuerung kann dafür sorgen, dass solche Veränderungen innerhalb festgelegter Grenzen verarbeitet werden. Sie unterstützt dabei, den aktuellen Bearbeitungsstand zu berücksichtigen, erforderliche Kontrollschritte einzuhalten und bei Bedarf eine zuständige Person einzubeziehen.

Der AI Harness ist dabei nicht mit einem einzelnen Prompt gleichzusetzen. Entscheidend ist vielmehr die Verbindung aus Kontextbereitstellung, Berechtigungsmanagement, Prozesssteuerung und Kontrollmechanismen. Erst durch dieses Zusammenspiel lässt sich das Verhalten des Agenten in den betrieblichen Gesamtzusammenhang einordnen.

Transparenz entsteht durch eine lückenlose Prozesshistorie

Neben der Begrenzung von Befugnissen ist die Nachvollziehbarkeit ein wesentlicher Bestandteil einer verlässlichen KI-Governance. Unternehmen müssen bei Bedarf feststellen können, welche Informationen in eine Entscheidung eingeflossen sind, welche Aktionen ein Agent ausgeführt hat und an welchen Stellen Menschen eingegriffen oder Freigaben erteilt haben.

Werden diese Informationen systematisch im jeweiligen Geschäftsprozess dokumentiert, entsteht eine zusammenhängende Historie. Sie erleichtert es, Entscheidungen im Nachhinein zu überprüfen, Fehlerursachen zu identifizieren und die Einhaltung interner wie externer Anforderungen zu bewerten.

Fehlt eine solche gemeinsame Dokumentationsgrundlage, müssen Informationen häufig aus unterschiedlichen Quellen rekonstruiert werden. E-Mails, Tabellen, Systemprotokolle und persönliche Aufzeichnungen liefern dann möglicherweise nur einzelne Ausschnitte des tatsächlichen Ablaufs. Das erschwert sowohl die interne Aufarbeitung als auch die Vorbereitung auf externe Prüfungen.

Eine strukturierte Prozesshistorie schafft dagegen eine bessere Grundlage für klare Verantwortlichkeiten. Sie unterstützt Unternehmen dabei, zu unterscheiden, welche Entscheidungen automatisiert getroffen wurden, welche Aktionen durch technische Regeln begrenzt waren und wann eine menschliche Bewertung stattgefunden hat.

Gerade in regulierten Branchen ist diese Transparenz entscheidend. 

Der nächste Entwicklungsschritt ist nicht mehr Freiheit, sondern bessere Steuerung

Die Weiterentwicklung von KI-Modellen erweitert die Möglichkeiten, Aufgaben eigenständig zu bearbeiten. Daraus sollte jedoch nicht automatisch folgen, dass Agenten uneingeschränkte Befugnisse erhalten. Leistungsfähigere Systeme benötigen vielmehr ein Kontrollkonzept, das ihren Einsatz an den tatsächlichen Anforderungen des jeweiligen Geschäftsprozesses ausrichtet.

Dazu müssen mehrere Komponenten ineinander greifen: eindeutig definierte Zuständigkeiten, technisch abgesicherte Berechtigungen, ein vollständiger Prozesskontext und eine nachvollziehbare Dokumentation. Ergänzend braucht es klar geregelte Verfahren für Ausnahmen, Eskalationen und menschliche Freigaben.

So können Unternehmen die Vorteile autonomer Systeme nutzen, ohne die Verantwortung für deren Handlungen aus der Hand zu geben. Die entscheidende Frage lautet nicht allein, ob ein KI-Agent eine Aufgabe lösen kann, sondern auch, unter welchen Bedingungen er dies tun darf und wie sich die Einhaltung dieser Bedingungen überprüfen lässt.

Vertrauenswürdige KI im Unternehmen entsteht nicht allein durch leistungsfähige Modelle. Sie setzt eine Architektur voraus, in der Autonomie, verbindliche Regeln und Prozesskontrolle zusammenwirken. Nur wenn die Grenzen des Handelns technisch abgesichert sind und Entscheidungen im jeweiligen Geschäftskontext nachvollzogen werden können, lässt sich der Einsatz von KI-Agenten dauerhaft verantwortungsvoll gestalten.