Vertrauen auf Knopfdruck? Warum erklärbare KI zur Schlüsselfrage wird

Stellen Sie sich vor, Sie haben einen neuen Kollegen, der in Sekunden analysiert, wozu andere Wochen brauchen. Er liefert nicht nur Ergebnisse, sondern auch scheinbar logische Erklärungen – doch manchmal erfindet er sie einfach.

Würden Sie ihm wichtige Entscheidungen überlassen? Bei KI steht genau diese Frage im Raum. Denn während sie in vielen Bereichen punktet, sie ist oft schneller und findet zahlreiche Informationen, fehlt ihr meist das, was menschliches Vertrauen ausmacht: nachvollziehbare Prozesse und die Fähigkeit, Unsicherheit zu kommunizieren. Worauf es ankommt, damit wir einer KI vertrauen können, erklärt der Datenanalyse- und KI-Experte Michael Berthold. 

KI-Systeme liefern äußerst überzeugende Erklärungen – selbst dann, wenn diese gar nicht der tatsächlichen Entscheidungsfindung entsprechen. Ein Beispiel: eine KI sollte den Aufnahmeort eines Bildes bestimmen. Sie nannte den Ort schnell und erklärte plausibel anhand von Objekten, Licht und Bilddetails, wie sie ihn ermittelt hatte. Bei genauer Prüfung stellte sich jedoch heraus, dass sie lediglich die Ortsinformation aus den Metadaten des Bildes ausgelesen hatte und sie gab zu, geschummelt zu haben. Das macht den Umgang mit KI so schwierig. Denn selbst wenn eine Erklärung logisch und beeindruckend klingt, bedeutet das noch lange nicht, dass sie wahr ist. Und genau hier entsteht der Vertrauenskonflikt.  

Das Vertrauensdilemma: Warum wir KI anders behandeln als Menschen 

Beim Menschen entsteht Vertrauen normalerweise durch Erfahrung, Transparenz und die Fähigkeit, Unsicherheit offen zu kommunizieren. Genau an diesen Punkten stoßen heutige KI-Systeme an ihre Grenzen. Die Gründe dafür sind: 

Das Black-Box-Problem: Viele Prozesse in einer KI laufen im Hintergrund ab. Selbst Experten können oft nicht vollständig nachvollziehen, wie die KI zu einer Entscheidung gelangt. Dadurch bleibt unklar, auf welcher Grundlage das Ergebnis entsteht.

Übertriebene Selbstsicherheit: KI kann falsche Antworten oft genauso überzeugend präsentieren, wie richtige Ergebnisse. Dadurch entsteht das Problem, dass Fehler nicht immer leicht erkennbar sind. Ausdruck und tatsächliche Zuverlässigkeit des Ergebnisses korrelieren nicht. 

Fehlende Verantwortlichkeit: Wenn eine KI einen Fehler macht, ist oft unklar, wer die Verantwortung dafür trägt. Das erschwert nicht nur die Korrektur einzelner Fehler, sondern auch die systematische Verbesserung der zugrunde liegenden Modelle und Prozesse. 

Das Problem ist also nicht, dass KI Fehler macht. Das tun Menschen ebenfalls. Das Problem ist, dass die Mechanismen, mit denen wir bei Menschen Vertrauen aufbauen, nämlich durch Erfahrung über Zeit und den transparenten Umgang mit Unsicherheit, bei KI nur eingeschränkt funktionieren. Ein einfaches „Ich weiß es nicht“ oder ein klares „ich bin mir nicht sicher“, dass wir von Menschen erwarten, ist bei KI nicht verlässlich gegeben. 

Wie lernen wir, einer KI zu vertrauen? 

Ein zentraler Aspekt dabei ist, dass Erklärbarkeit nicht nur oberflächlich geschieht: Eine KI muss nicht nur Ergebnisse liefern, sondern nachvollziehbar machen können, wie sie zu ihnen gekommen ist – und zwar so, dass wir sicher sein können, dass diese Erklärung tatsächlich dem entspricht, was „unter der Haube“ passiert ist. Es reicht also nicht, eine plausible Begründung zu erhalten, die nachträglich konstruiert wurde. Entscheidend ist, dass die tatsächlichen Verarbeitungsschritte zugänglich und idealerweise reproduzierbar sind. Dafür braucht es:  

1. Validierung: Ein Ansatz ist eine Gegenprüfung. Entweder durch eine Person oder durch eine zweite KI. Geeignete KI-Systeme erkennen beleidigende Texte, merkwürdige Bilder oder andere Fehler, können aber auch die Zuverlässigkeit der Ergebnisse hinterfragen. In manchen Fällen ist diese Form der automatisierten Gegenprüfung sogar effektiver als eine rein menschliche Kontrolle, auch wenn sie keine absolute Sicherheit bieten kann. Solange wir keine perfekte Sicherheit erwarten, funktioniert dieser Ansatz gut. 
2. Erklärbarkeit: Hier geht es um die Nachvollziehbarkeit von Entscheidungen. Dabei kann man den Umgang mit neuen menschlichen Kollegen nachahmen und beispielsweise fragen „Zeig mir, wie du zu diesem Ergebnis gekommen bist“. Dabei reicht eine Begründung nicht aus – entscheidend ist, dass die tatsächlichen Schritte der Entscheidungsfindung sichtbar werden. Das kann unterschiedlich umgesetzt sein. Bei Programmen etwa durch SQL-Queries oder Python-Code. Bei Analysen durch Offenlegung von Daten und Datenflüsse oder bei komplexeren Systemen durch strukturierte Workflows. 
3. Gemeinsame Sprache: Wichtig ist es zudem, dass die Abstraktion der Erklärung zum Problem passt. Einen Wust von Code in unterschiedlichen Programmiersprachen auszuspucken, wird in den meisten Fällen nicht genügen. KI-Systeme müssen vielmehr in der Lage sein, ihre Vorgehensweise in einer Sprache zu erklären, die je nach Zielgruppe unterschiedlich detailliert sein kann.  

Genau hier muss in geeignete Mechanismen (oder „Sprachen“) investiert werden, die echte Zusammenarbeit zwischen Mensch und KI ermöglichen.   

Fazit: Für einige Einsatzbereiche ist KI bereits vertrauenswürdig genug. Einige Fehler lassen sich leicht erkennen oder haben keine großen Auswirkungen. In anderen Bereichen ist KI sogar bereits besser als Menschen. Aber es gibt Bereiche, in denen wir systematisch definieren müssen, wie Vertrauen überhaupt aufgebaut wird. Der Weg nach vorn erfordert nicht nur bessere KI, sondern auch bessere Formen der Zusammenarbeit zwischen Mensch und KI – durch transparente Prozesse, reproduzierbare Erklärungen und gemeinsame „Sprachen“. Nur so können wir das volle Potenzial der KI ausschöpfen.