Antworten an Bildungsstand angepasst

Ungleiche Antworten: Studie zeigt Qualitätsunterschiede bei KI-Chatbots

Chatbot

Künstliche Intelligenz gilt als Hoffnungsträger für einen gerechteren Zugang zu Wissen.

Eine aktuelle Untersuchung des Center for Constructive Communication am Massachusetts Institute of Technology kommt jedoch zu einem ernüchternden Ergebnis: Nicht alle Nutzer erhalten von KI-Chatbots gleichwertige Informationen. Besonders betroffen sind Menschen mit geringeren Englischkenntnissen, niedrigerer formaler Bildung und nicht-amerikanischer Herkunft (via Pressetext).

Anzeige

Qualität hängt von Sprache und Herkunft ab

Die Forscher testeten mehrere führende Sprachmodelle, darunter GPT-4 von OpenAI, Claude 3 Opus von Anthropic und Llama 3 von Meta. Dabei zeigte sich, dass die Qualität der Antworten deutlich variieren kann – abhängig davon, wie eine Frage formuliert ist und aus welchem Land der Fragesteller stammt.

Wer kein korrektes US-Englisch verwendet, erhält häufiger unpräzise oder fehlerhafte Antworten. In einigen Fällen reagierten die Systeme sogar in einem belehrenden oder herablassenden Tonfall. Besonders stark fiel der Qualitätsrückgang bei Nutzern aus, die sowohl eine geringere formale Bildung als auch Englisch als Fremdsprache aufweisen.

In weiteren Tests stellten Personen mit vergleichbarem Bildungsniveau aus den USA, dem Iran und China identische Fragen. Dabei schnitt insbesondere Claude 3 Opus bei Anfragen aus dem Iran schlechter ab.

Anzeige

Darüber hinaus verweigerte das System bestimmten Nutzern aus dem Iran oder Russland Antworten auf Themen wie Kernenergie, Anatomie oder historische Ereignisse – obwohl identische Fragen zuvor anderen Nutzern korrekt beantwortet wurden. Diese Unterschiede deuten auf systematische Verzerrungen hin, die über reine Sprachprobleme hinausgehen.

Gefahr von Fehlinformationen

Die Ergebnisse werfen grundlegende Fragen zur Fairness und Zuverlässigkeit von KI-Systemen auf. Gerade wenn Sprachmodelle weltweit als Informationsquelle genutzt werden, können Qualitätsunterschiede gravierende Folgen haben.

Nach Einschätzung der beteiligten MIT-Forscher besteht die Gefahr, dass ausgerechnet jene Nutzergruppen, die weniger Möglichkeiten haben, Informationen kritisch zu prüfen, verstärkt mit fehlerhaften oder unvollständigen Antworten konfrontiert werden.

Damit steht die ursprüngliche Vision, mithilfe von KI globale Informationsbarrieren abzubauen, auf dem Prüfstand.

Die Studie macht deutlich, dass technologische Leistungsfähigkeit allein nicht ausreicht. Neben Genauigkeit und Geschwindigkeit müssen Entwickler auch systematische Verzerrungen und ungleiche Behandlung verschiedener Nutzergruppen berücksichtigen.

Soll KI tatsächlich zu mehr Chancengleichheit beitragen, müssen Sprachmodelle so trainiert und geprüft werden, dass sie unabhängig von Herkunft, Sprachstil oder Bildungsgrad verlässliche und gleichwertige Informationen liefern.

Pauline Dornig

Pauline

Dornig

Online-Redakteurin

IT Verlag GmbH

Anzeige

Artikel zu diesem Thema

Weitere Artikel

Newsletter
Newsletter Box

Mit Klick auf den Button "Jetzt Anmelden" stimme ich der Datenschutzerklärung zu.