Viele Unternehmen scheuen agentische KI in fehlerkritischen Prozessen wie Fulfillment und Versand. Dabei liegen genau dort sehr große Effizienzgewinne.
Ein Blick auf die Sicherheitsarchitektur hinter KI-Agenten im E-Commerce zeigt, warum sich Kontrolle und Automatisierung nicht ausschließen.
Ein ERP-System für den Onlinehandel bündelt Warenwirtschaft, Lagerverwaltung, Versand, Retourenmanagement und Marktplatzanbindung. Darüber laufen bei etablierten Systemen täglich tausende Bestellungen. Ein falsch kommissioniertes Paket bedeutet eine Retoure, eine fehlerhafte Rechnung verstößt gegen Buchführungspflichten, eine verpasste Lieferfrist verärgert Kunden und Marktplätze gleichermaßen. Das macht ERP- und Fulfillment-Prozesse im Handel zu einem Umfeld, in dem sich Fehler kaum verstecken lassen. Wie gelingt es, agentische KI hier sicher zu implementieren?
Zielbild: Ein zuverlässiger, aber bequemer Mitarbeiter
Die Meldungen häufen sich: KI-Agenten, die tagelang autonom laufen, sich zu Schwärmen zusammenschließen und aus ihrer Sandbox ausbrechen. Mit dem Einsatz in regulierten ERP-Prozessen ist das nicht vergleichbar. Hier arbeiten Agenten strikt rundenbasiert. Sie bekommen eine Aufgabe, versuchen sie in wenigen Durchläufen zu lösen, dann ist Schluss. Kein Agent verfolgt eigenständig über Tage ein Ziel oder spricht sich mit anderen Agenten ab. Ein rundenbasiert arbeitender Agent ist wie ein sehr zuverlässiger, aber bequemer Mitarbeiter: Die angefragte Aufgabe wird ausgeführt, aber auf keinen Fall mehr. Zudem gilt für ihn das Motto “lieber zweimal nachgefragt, bevor es an die Arbeit geht”.
Sicherheit auf mehreren Ebenen
Hinter diesem Zielbild steht eine Sicherheitsarchitektur auf mehreren Ebenen: Die robusteste Sicherheitsebene liegt im Tool-Code selbst, unabhängig vom Sprachmodell. Ein Rabatt-Tool, zum Beispiel, lässt sich so programmieren, dass Werte über einem festen Prozentsatz schlicht nicht ausgeführt werden, egal was das Modell zuvor entschieden hat. Das ist dann kein KI-Verhalten mehr, das ist deterministischer Code, der sich durch keinen Prompt umgehen lässt. Dazu kommen feste Nutzerrechte: Ein Agent bekommt genau das Profil und die Berechtigungen, die auch ein Mitarbeiter in vergleichbarer Rolle hätte, unabhängig davon, ob er intern für Kollegen arbeitet oder direkt mit Endkunden kommuniziert.
Darüber liegt die Modellebene: Human-in-the-Loop sorgt dafür, dass der Agent bei Aktionen mit höherem Risiko aktiv eine Freigabe einholen muss, bevor er handelt. Allein reicht das zwar nicht aus, denn ein Sprachmodell lässt sich über geschickt formulierte Prompts dazu überreden, Regeln zu ignorieren, etwa über erfundene Notlagen oder Rollenspiele. Das ist jedoch vergleichbar mit Menschen, die mit Social Engineering ebenfalls beeinflusst werden können. Deshalb gibt es für bestimmte Handlungen Begrenzungen, wie zum Beispiel, dass ein SAP nur begrenzte Beträge freigibt.
Den Abschluss bildet ein kontinuierliches Evaluationsframework, das laufend beobachtet, wie sich ein Agent verhält, dauerhaft und weit über den Go-live hinaus. Neue Regeln, neue Produkte oder veränderte Prozesse verschieben den Maßstab ständig, deshalb bleibt die Bewertung ein fortlaufender Prozess statt eines einmaligen Tests. Diese technische Überwachung wird ergänzt durch regelmäßige menschliche Kontrollpunkte, je nach Prozesskomplexität wöchentlich oder monatlich. Dabei wird das Verhalten des Agenten mit einem vorab festgelegten Qualitätsstandard verglichen.
Nachvollziehbarkeit ist dabei mehr als ein Kontrollinstrument. Erst wenn sich zeigen lässt, dass ein Agent tatsächlich so handelt wie vorgegeben, kann der Nutzer entscheiden, ihm mehr Autonomie einzuräumen. Und im Fehlerfall lässt sich genau nachvollziehen, an welcher Stelle etwas schiefgelaufen ist, statt zu raten.
Zwei Beispiele aus dem Alltag
Beim proaktiven Nachbestellen prüft ein Agent jeden Morgen Lagerbestand, Verkaufsprognose, Lieferzeiten und Mindestbestellmengen je Lieferant, also das, was ein Händler sonst manuell über mehrere Tools zusammensucht. Er schlägt eine Bestellung vor, ausgelöst wird sie erst nach Freigabe. Diese Schwelle lässt sich mit der Zeit anheben, abhängig davon, wie sensibel die Einkaufsprozesse eines Händlers jeweils gestaltet sind.Im Kundenservice verarbeitet ein Agent natürliche Sprache, gleicht Anfragen mit Systemdaten ab und beantwortet sie eigenständig. Wird ein Kunde emotional oder fehlen Informationen, eskaliert er an einen Menschen und übernimmt danach die restliche Bearbeitung wieder selbst. So bleibt ein größerer Teil des Prozesses automatisiert, auch wenn ab und zu ein Mensch eingreifen musste.
Risiko lässt sich nicht vermeiden, nur kontrollieren
Vollständig risikofrei lässt sich Weiterentwicklung nicht machen, das gilt für neue Mitarbeiter genauso wie für Agenten. Was sich kontrollieren lässt, ist der Umgang damit: klare Grenzen, Freigaben und die in diesem Beitrag beschriebenen Sicherheitsebenen. Am meisten profitieren Händler, die wachsen wollen, aber an ihre Kapazitätsgrenzen stoßen. Das betrifft gerade kleinere und mittelgroße Onlinehändler: Ohne teures Saisonpersonal lassen sich Spitzenzeiten wie Black Friday oder Weihnachten kaum abfedern. Hier versprechen KI-Agenten mit auf die Branche zugeschnittener Sicherheitsarchitektur Abhilfe.
