Thought Leadership
Die Einführung von KI geht mittlerweile weit über reine „Inhaltserstellung“ hinaus und erstreckt sich bereits auf Systeme, die eigenständig handeln können.
Während generative KI in erster Linie Ergebnisse wie Texte oder Bilder erzeugt, kann agentische KI Maßnahmen planen und ausführen, wobei sie häufig Werkzeuge, Zugangsdaten und Zugriff auf Systeme nutzt. Agentische Systeme können reale Arbeitsabläufe ausführen, aber dabei auch dabei operative Fehler verursachen; daher erfordern sie eine strengere Steuerung als die reine Inhaltserstellung. Um dem gerecht zu werden, sollten Unternehmen fünf zentrale Fragen definieren und vorab beantworten können, bevor sie den internen Einsatz eines agentischen KI-Systems zulassen.
1. Welche Faktoren spielen bei der Einführung von agentischer KI eine Rolle?
Mehrere wichtige Faktoren spielen bei der Bereitstellung von KI-Agenten eine Rolle. Unternehmen müssen Modelländerungen durch Versionsverwaltung, Regressionstests und Änderungskontrolle verwalten, da Aktualisierungen oder Modellwechsel das Verhalten, die Genauigkeit und das Risiko beeinflussen können.
Außerdem sollten Prüfmechanismen sowie strenge Überwachungs- und Rückverfolgbarkeitsmaßnahmen durch Protokollierung, Herkunftsnachweis und Überprüfungsabläufe festgelegt werden, um die Untersuchung von Vorfällen, die Einhaltung von Vorschriften und die kontinuierliche Verbesserung zu unterstützen. Richtlinien zur Datenaufbewahrung müssen einen Ausgleich zwischen betrieblichen Erfordernissen einerseits und Datenschutz- sowie gesetzlichen Verpflichtungen andererseits schaffen und dabei das Risiko minimieren, dass sensible Informationen länger als nötig aufbewahrt werden.
Zuletzt sollten alle Implementierungen hinsichtlich ihrer Sicherheit und möglicher Qualitätseinbußen bewertet werden, wobei eine fortlaufende Überprüfung, Schutzmaßnahmen und klare Ausweichstrategien vorgesehen sein müssen. Bei der Beauftragung von Anbietern oder Drittanbietern sollten Fragen der Freistellung und Haftung im Vorfeld geklärt werden, um sicherzustellen, dass die vertraglichen Schutzmaßnahmen dem Risikoprofil der Implementierung entsprechen.
2. Wie wird der Einsatz von KI gegenüber dem Vorstand und den Kunden kommuniziert?
Das Risiko durch KI-Agenten ist ein Unternehmensrisiko. Es betrifft die Datensicherheit, die Einhaltung gesetzlicher Vorschriften, geistiges Eigentum, das Lieferantenmanagement und Reputationsrisiken. Der Vorstand muss nicht verstehen, wie transformatorische Architekturen funktionieren. Er muss jedoch nachvollziehen können, welche KI-Agenten im Unternehmen im Einsatz sind, wozu sie befugt sind, welche Sicherheitsvorkehrungen getroffen wurden und was gegebenenfalls schieflaufen kann.
Als Mindestinhalt sollte ein Berichterstattung an den Vorstand Folgendes umfassen: eine Bestandsaufnahme der im Einsatz befindlichen agentenbasierten KI-Systeme, die Geschäftsfunktion und Risikoklassifizierung jedes Systems, die Identität der verantwortlichen Führungskräfte und betreuender Juristen für jede Bereitstellung, etwaige Vorfälle oder Beinahevorfälle seit dem letzten Bericht sowie wesentliche Änderungen an Lieferantenverträgen oder Modellkonfigurationen. Dies ist kein großer Aufwand, wenn die Berichtsinfrastruktur bereits zum Zeitpunkt der Bereitstellung aufgebaut wird. Es ist jedoch ein extrem großer Aufwand, wenn dies erst im Nachhinein angegangen wird.
3. Wo liegt die Entscheidungsbefugnis, und welche Zugriffsrechte erhält dieser KI-Agent?
Die Befugnisse eines KI-Agenten sind durch seine technische Konfiguration begrenzt. Verfügt er über Zugangsdaten für Ihr E-Mail-System, kann er E-Mails versenden. Hat er Zugriff auf Ihr ERP-System, kann er Transaktionen auslösen. Hat er Zugriff auf Ihre Ablagesysteme, kann er Dokumente erstellen und ändern. Der Agent weiß nicht, welche dieser Aktionen einer menschlichen Genehmigung bedürfen und welche nicht. Er weiß lediglich, worauf er Zugriff hat.
Vor der Einführung sollte eine schriftliche Befugnismatrix erstellt werden, in der jede Aktion, die der Agent ausführen kann, einer von drei Kategorien zugeordnet wird: „zulässig“ (der Agent darf eigenständig handeln), „beschränkt“ (der Agent darf nur mit menschlicher Genehmigung zum Zeitpunkt der Aktion handeln) und „verboten“ (der technische Zugriff des Agenten auf diese Funktion sollte vollständig entzogen werden). Diese Matrix sollte wie eine Befugnisübertragung an einen neuen Leiter eines Geschäftsbereichs behandelt werden: konkret, mit klaren Eskalationswegen und in dem Bewusstsein, dass sie überarbeitet werden muss, sobald es klarer geworden ist, wie sich der Agent in der Produktion tatsächlich verhält.
Besonders zu beachten sind dabei nach außen gerichtete Vorgänge. Jeder Vorgang, bei dem Informationen oder Mitteilungen die Grenzen einer Organisation verlassen – darunter das Versenden einer E-Mail, das Ablegen eines Dokuments oder die Übermittlung von Daten an Dritte –, sollte einer Zugriffskontrolle unterliegen. Interne Vorgänge erfordern möglicherweise mehr Flexibilität. Doch die Grenze zwischen innen und außen ist eine Grenze, bei der sich keinen Fehler geleistet werden darf.
4. Was kann ein KI-Agent eigentlich leisten, und welche Folgen hat es, wenn er dabei versagt?
Einfach ausgedrückt: Ein agentisches System erhält ein Ziel, unterteilt es in Teilaufgaben, führt diese Teilaufgaben mithilfe verschiedener Tools und Datenquellen aus, bewertet seinen eigenen Fortschritt und passt seine Vorgehensweise an, ohne bei jedem Schritt auf menschliche Eingaben warten zu müssen. In den Demos der Anbieter wird der optimale Anwendungsfall dieser Technologie gezeigt.
Wenn ein Beschaffungsteam ein Produkt mit agentischer KI bewertet, wird es eine ausgefeilte Demonstration des Systems zu sehen bekommen, das einen komplexen Arbeitsablauf innerhalb weniger Minuten abwickelt. Was es jedoch nicht sehen wird, ist, was passiert, wenn das System einen Zustand „halluziniert“. Oder wenn es eine Datenbank abfragt, auf die es eigentlich keinen Zugriff haben sollte. Oder wenn es eine Maßnahme ergreift, die angesichts der abgerufenen Daten zwar Sinn ergab, im Kontext, der dem System nicht bekannt war, jedoch katastrophal falsch war.
Vor der Inbetriebnahme sollten vom Anbieter die Modell- oder Systemkarte angefordert werden, in der die bekannten Einschränkungen des Modells, die Ausfallmodi und die Ergebnisse der Sicherheitsprüfungen dokumentiert sind. Was passiert, wenn der Agent auf Szenarien stößt, die außerhalb seiner Trainingsverteilung liegen? Kann der Agent auf Tools oder Datenquellen zugreifen, die über die explizit konfigurierten hinausgehen, und wenn ja, unter welchen Umständen? Wenn Anbieter diese Fragen nicht klar beantworten können, sagt das viel über den Reifegrad des Produkts aus und darüber, ob ein Unternehmen zu den Early Adopters gehören oder lieber abwarten sollte.
5. Wer haftet im Falle eines Problems und wie lässt sich dieses Risiko mindern?
Das ist die Frage, die allen Anwendern schlaflose Nächte bereiten sollte, denn die Antwort lautet mit ziemlicher Sicherheit „Sie“. Mindestens drei Akteure prägen das Verhalten eines agentenbasierten KI-Systems. Der Entwickler des Grundmodells kontrolliert die Kernfähigkeiten und Sicherheitsvorkehrungen des Modells. Der Plattformanbieter (das Unternehmen, welches das agentenbasierte Produkt verkauft) konfiguriert die Werkzeuge, den Datenzugriff und die Workflow-Logik des Agenten. Und die Organisation steuert den Einsatzkontext: Auf welche Daten der Agent zugreifen kann, mit welchen Systemen er interagieren darf und welche Aktionen er ausführen darf.
Wenn etwas schiefgeht, schließt die Lizenz des Entwicklers des Grundmodells mit ziemlicher Sicherheit jegliche Gewährleistung aus und begrenzt die Haftung auf die gezahlten Gebühren. Die Vereinbarung des Plattformanbieters enthält wahrscheinlich ähnliche Einschränkungen. In der Praxis wird die Haftung somit auf den Betreiber abgewälzt. Das sind Sie.
Diese Verantwortungskette muss vorab festgelegt werden, bevor irgendwer den Vertrag unterzeichnet – nicht erst nach einem Vorfall. Machen Sie sich klar, wo die Verantwortung der einzelnen Parteien beginnt und endet. Wenn die Standardbedingungen des Anbieters vorsehen, dass ein Unternehmen das gesamte Risiko für durch KI verursachte Fehler trägt, sollte darüber verhandelt werden. Und falls der Anbieter nicht verhandeln will, muss zumindest das Geschäftsteam genau verstehen, worauf es sich einlässt.
