KI-Modelle benachteiligen bestimmte Akzente

Führende KI-Modelle bewerten gesprochene Antworten schlechter, wenn sie mit bestimmten Akzenten vorgetragen werden. Das zeigt eine Studie eines Teams um die University of Washington. Untersucht wurden die Modelle Gemini 2.5 Pro und Gemini 2.5 Flash von Google, GPT-Audio 1.5 von OpenAI und das Open-Source-Modell Qwen 3 Omni. Sie bewerteten Antworten aus Bewerbungsgesprächen, Konferenzvorträgen und mündlichen Englischtests, die mit amerikanischem, britischem, chinesischem, indischem und nigerianischem Akzent gesprochen wurden. Vorgestellt hat das Team die Ergebnisse auf der Konferenz Empirical Methods in Natural Language Processing (EMNLP) in Budapest. Beteiligt waren unter anderem Forschende der LMU München und des CISPA Helmholtz-Zentrums für Informationssicherheit.

Gleicher Inhalt, schlechtere Noten

Für die Untersuchung lasen KI-Stimmen des Anbieters ElevenLabs dieselben Texte mit den fünf Akzenten vor, jeweils mit männlicher und weiblicher Stimme. Die Modelle vergaben auf einer Skala von eins bis sieben Punkte für Vortrag und Inhalt und begründeten ihre Bewertung. Chinesische und nigerianische Akzente erhielten in der Regel die niedrigsten Werte, indische lagen in der Mitte, amerikanische und britische vorn. Das galt auch, wenn der Inhalt identisch war und die Modelle das Gesagte korrekt transkribierten. Bewertet wurde dann nicht nur der Vortrag, sondern auch der Inhalt schlechter. Eine Überprüfung mit 52 menschlichen Sprechern aus den fünf Ländern bestätigte das Muster, die Unterschiede fielen dabei sogar größer aus. Akzente, die akustisch weiter vom amerikanischen Englisch entfernt sind, schnitten häufig schlechter ab.

„Sie haben die Sprecher verstanden, aber sie hatten diese implizite Vorstellung einer Hierarchie zwischen ihnen, basierend auf dem Akzent.”
Orevaoghene Ahia, Doktorandin an der Paul G. Allen School der University of Washington und Mitautorin der Studie

In ihren Begründungen behaupteten die Modelle wiederholt, chinesische und nigerianische Sprecher würden nuscheln oder seien schwer zu verstehen.

Ursache in den Trainingsdaten vermutet

Die Forschenden vermuten die Ursache im Training, etwa in Daten, die Menschen mit Akzent als schwer verständlich beschreiben, in Datensätzen, in denen bestimmte Bevölkerungsgruppen unterrepräsentiert sind, oder in Trainingsmethoden, die herkömmliche Vorstellungen davon verstärken, wie ein professioneller Sprecher klingen sollte. Englisch ist etwa Amtssprache in Nigeria und Unterrichtssprache an indischen Schulen. Die Forschenden empfehlen Entwicklern, die Leistung ihrer Modelle nicht nur im Durchschnitt, sondern aufgeschlüsselt nach Bevölkerungsgruppen und Dialekten zu veröffentlichen. Die Studie wurde teilweise durch Zuwendungen von Google und OpenAI finanziert.

KI wird zunehmend eingesetzt, um Bewerber zu prüfen oder mündliche Leistungen zu bewerten. Die KI-Verordnung der EU stuft KI-Systeme für die Auswahl von Bewerbern als Hochrisiko-Systeme ein, für die strengere Anforderungen etwa an Datenqualität und menschliche Aufsicht gelten.

(red)