Erklärbare KI für Produktverantwortliche 

KI-Systeme mit hoher Komplexität sind häufig sogenannte Black Boxes.

Wie sie zu ihren Ergebnissen kommen, ist oft schwer nachvollziehbar. In vielen Anwendungsgebieten, wie der medizinischen Diagnostik, der Kreditbewilligung im Finanzwesen oder in der Entwicklung von IT-Produkten, ist die Nachvollziehbarkeit jedoch entscheidend, um die Ergebnisse einordnen und hinterfragen zu können. Erklärbare KI (XAI) ist eine Möglichkeit, um Nachvollziehbarkeit herzustellen. Über Erklärungen für Daten, Modelle und Ausgaben von KI-Systemen können mit Hilfe von XAI-Methoden wichtige Informationen zur Verfügung gestellt werden, um die Qualität der Systeme zu verbessern und das Vertrauen in die Systeme zu stärken. 

Warum ist XAI allgemein relevant für Unternehmen?

Die Unternehmensberatung McKinsey (2022) verweist in einer Studie darauf, dass Unternehmen, die das digitale Vertrauen der Verbrauchenden stärken, indem sie zum Beispiel KI erklärbar machen, eine höhere Chance haben, ihren Gewinn signifikant zu steigern. XAI kann laut der Studie die Produktivität erhöhen, indem beispielsweise Fehler in KI-Anwendungen schneller erkannt oder die Anwendungen verbessert werden. Sie kann dazu beitragen, das Vertrauen von Verbrauchenden, Behörden und der Öffentlichkeit in KI-Anwendungen zu stärken und Risiken für Unternehmen, beispielsweise durch Regulierung, zu verringern. Darüber hinaus kann das Wissen über den Grund hinter KI-gestützten Vorhersagen wichtige Erkenntnisse für die Geschäftsentwicklung liefern, etwa bei Vorhersagen zur Kundenabwanderung zugrunde liegende Faktoren transparent machen. XAI ist aber auch wichtig für das Change-Management bei der Einführung von KI-Systemen in Unternehmen: Es gilt als wichtiges Kriterium für die menschengerechte Gestaltung der Arbeitswelt im Hinblick auf die Mensch-Maschine-Interaktion.

XAI-Methoden können zudem unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. XAI kann einen Beitrag leisten, Hürden im Austausch zwischen Domänenexpertinnen und -experten, Modellerstellenden, Produktentwickelnden und Endverbrauchenden abzubauen und auf diese Weise die Qualität von KI-Anwendungen zu verbessern.

 Geeignete Methoden in der Praxis – Beispiel Produktverantwortliche

Anja ist Produktverantwortliche in einem Unternehmen, das Anwendungen mit KI-Funktionalität anbietet. Sie hat Wirtschaftsinformatik studiert und kennt daher sowohl die betriebswirtschaftlichen Aspekte von Softwareanwendungen als auch die technische Seite der Softwareentwicklung. Bereits während ihres Studiums hat sie sich mit KI-Anwendungen beschäftigt. Vor diesem Hintergrund ist sie hinsichtlich ihres KI-Wissens zwischen den Modellerstellenden, den KI-Forschenden und den Endanwendenden anzusiedeln und übersetzt die Bedürfnisse der Anwendenden in Anforderungen an das Modell. Durch ihre Berufserfahrung verfügt Anja über ein fundiertes Wissen über das Marktumfeld zukünftiger KI-Anwendungen, die Bedürfnisse und Wünsche der Konsumentinnen und Konsumenten sowie über ein grundlegendes Wissen über die Spezifika der Anwendungsdomäne. Dazu gehören auch Benutzerfreundlichkeit und Qualitätssicherung (z. B. funktionale Sicherheit und Zuverlässigkeit). Auch in der Produktentwicklung setzt sie XAI-Methoden ein, um einerseits die Interaktion zwischen Nutzenden und dem KI-System zu optimieren und andererseits die Integration des Modells in die Anwendungsdomäne zu verbessern und damit die Kundenzufriedenheit zu erhöhen. Passende XAI-Methoden wären für Anja unter anderem Beispiel- und Wissens-basierte XAI oder auch „minimalistische” XAI, die auf zugrundeliegende, verwendete Daten verweisen kann. Da sie die Produktzertifizierung und -zulassung im Hinterkopf behalten muss, tauscht sie sich mit unternehmensinternen Auditierenden aus, die ebenfalls XAI nutzen. Während die Erklärungen in der internen Entwicklungsphase komplex ausfallen können, sollten sie für die Endnutzenden einfach zugänglich sein. Als Produktentwicklerin wünscht sich Anja Erklärungen, die sie und ihr Team in ihrem spezifischen Tätigkeitsprofil unterstützen.

Welchen Methoden eignen sich?

In Unternehmen werden beispielsweise klassische XAI-Methoden, wie LIME und SHAP, eingesetzt, aber auch neuere Herangehensweise wie Partial Dependency Plots und Layer-wise Relevance Propagation. Aus der beschriebenen Persona der bzw. des Produktverantwortlichen kommen noch Beispiel- und Wissens-basierte XAI oder auch „minimalistische” XAI, die auf zugrundeliegende, verwendete Daten verweisen kann, hinzu: 

• Beispiel-basiert: Erklärungen werden durch Beispiele entweder aus dem Datensatz oder einer künstlich erzeugten Klasse repräsentiert oder kommuniziert. Beispiel hierfür sind Counterfactuals, Prototypen, Influential Datapoints.

• Wissens-basiert bzw. basierend auf hybrider KI: Vorhandenes menschliches Wissen wird genutzt, um zum Beispiel durch Deep Learning erstellte KI-Modelle erklärbarer zu machen oder um XAI-Methoden zu verbessern. XAI wird durch Wissen in Form von Wissensgraphen oder -basen, logischen Regeln oder algebraischen Formeln informiert.

• Relevanz-, Feature-, Attributions- und Perturbations-basiert: Diese Methoden basieren auf der Beobachtung von Paaren von Modellein- und -ausgaben. 

• 1) Relevanz: Analyse der Relevanz von Informationen zum Beispiel Features, Wörter, Pixel in der Eingabe auf die Ausgabe 
• 2) Aktivitätsmaximierung: Eingaben finden oder generieren, die bestimmte Modellbestandteile maximal aktivieren 
• 3) Perturbation: Systematische Variation beziehungsweise Störung von Eingabebestandteilen, um den Einfluss auf die Ausgabe zu messen. 

Beispiele hierfür sind Local Interpretable Model-Agnostic Explanations (LIME), Layer-wise Relevance Propagation (LRP), Shapley Additive Explanation (SHAP), Activation Maximisation, Sensitivitätsanalyse (Perturbation).

Fazit: Was tun? Empfehlung an Unternehmen

Insgesamt zeigt sich, dass der Einsatz XAI-Methoden nicht nur zu einer qualitativen Verbesserung von KI-Modellen führt, sondern gleichzeitig auch langfristig vertrauenswürdige KI realisiert, die im Unternehmen in vielfältiger Weise nutzbringend sein kann.

• Die Nutzung von XAI ermöglicht es Organisationen, sich von Wettbewerbern abzugrenzen: Dabei ist es entscheidend, die Zielgruppe der Erklärung im Blick zu behalten. XAI kann dann dazu beitragen, sowohl Vertrauen zu gewinnen als auch die Performanz der Nutzer-System-Interaktion verbessern.
• Darüber hinaus ist es empfehlenswert, XAI vermehrt als Werkzeug einzusetzen und weiterzuentwickeln. So können Hürden für den Austausch zwischen Domänenexpertinnen und -experten, Modellerstellenden, Produktentwickelnden und Verbrauchenden abgebaut werden.
• Abschließend ist es auch für Unternehmen empfehlenswert, sich an anwendungsnahen Forschungsprojekten zu beteiligen, in denen die aktuelle Entwicklung in der XAI-Forschung zu einfach nutzbaren Standardwerkzeugkisten nach dem Prinzip „Erklären, um zu revidieren“ vorangetrieben werden.