KI-Entscheidungen oft ohne Verantwortlichen

Bei weniger als 20 Prozent der Entscheidungen, die KI-Systeme in Unternehmen beeinflussen oder selbst ausführen, gibt es einen benannten Verantwortlichen im Fachbereich, ausdrückliche Regeln und eine formale Zuständigkeit. Das schreibt Sopra Steria Next, die Beratungssparte des französischen IT-Dienstleisters Sopra Steria, in der neuen Ausgabe ihres CIO Compass mit dem Titel „KI ist nichts ohne Kontrolle und Zweck”. Weniger als 25 Prozent der KI-gesteuerten Entscheidungen im Produktivbetrieb lassen sich demnach vollständig nachverfolgen und wiederholen. Ein Fehler bei einer automatisierten Entscheidung kann laut Bericht 10- bis 100-mal mehr Abläufe, Kunden oder Umsätze betreffen als ein herkömmlicher IT-Vorfall.

Souveränität auch bei Entscheidungen

Sopra Steria Next erweitert damit den Begriff der KI-Souveränität. Es gehe nicht nur darum, wo Daten gespeichert und Modelle betrieben werden, sondern auch darum, jederzeit nachweisen zu können, wer automatisierte Entscheidungen kontrolliert und erklärt. Die Abhängigkeit von Anbietern habe sich von der Infrastruktur auf die Ebene des Denkens und Entscheidens verlagert und sei dort schwerer rückgängig zu machen.

Das Beratungshaus schlägt CIOs einen Rahmen mit neun Dimensionen vor. Zentral ist ein sogenannter Souveränitäts-Stack mit fünf Ebenen: Daten, Modelle, Plattformen, Programmierschnittstellen und Entscheidungen. Für jede Ebene soll geklärt werden, wer sie betreibt, wer sie ersetzen kann und wer die Verantwortung trägt.

„Ein System, das nicht in Echtzeit gestoppt werden kann, ist nicht regiert. Es wird lediglich beobachtet.”
Valérie Thiblet, Partnerin für Daten und KI bei Sopra Steria Next

Schatten-KI und KI-Verordnung

Als kritische Punkte für IT-Abteilungen nennt der Bericht die Verbreitung von Schatten-KI, die Nachvollziehbarkeit und Kostenkontrolle untergräbt, bevor Verantwortliche davon erfahren. Zudem werde die Steuerung von KI-Modellen vielfach noch als optional behandelt. Bei der KI-Verordnung der EU sieht Sopra Steria Next das größte Risiko nicht in vorsätzlichen Verstößen, sondern in unbeabsichtigten Verstößen aufgrund mangelnder Vorbereitung.

Auch andere Erhebungen zeigen Lücken bei der Zuständigkeit für KI. In einer Gartner-Umfrage gaben nur 24 Prozent der Personalvorstände an, dass ihr Führungsteam sich einig ist, wer für KI-Agenten verantwortlich ist.

(red/Sopra Steria Next)