KI lernt komplexe Sprachregeln beim Lesen

Forscherinnen und Forscher der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) haben gezeigt, dass Künstliche Intelligenz in der Lage ist, Sprachregeln selbstständig zu erkennen – ganz ohne vorherige Kenntnisse über Grammatik oder Wortarten.

In einem Experiment konnten KI-Modelle Strukturen der menschlichen Sprache nachvollziehen, allein durch die Analyse literarischer Texte (wie Pressetext berichtet). Die Ergebnisse der Studie wurden von Uche Onyekpe und Vasile Palade in einem Fachbeitrag bei Springer veröffentlicht.

Sprachverständnis durch Erfahrung

Das Forschungsteam stützt mit seinen Ergebnissen die Annahmen der kognitiven Linguistik. Diese Theorie geht davon aus, dass Sprachverständnis nicht angeboren ist, sondern durch Erfahrung und Nutzung entsteht. Im Experiment wurde ein rekurrentes neuronales Netz mit dem Roman „Gut gegen Nordwind“ des österreichischen Autors Daniel Glattauer trainiert. Das Modell sollte nach jeweils neun Wörtern das nächste Wort im Text vorhersagen.

Nach Angaben von FAU-Neurowissenschaftler Patrick Krauss gelang der KI diese Aufgabe in erstaunlich vielen Fällen korrekt. Dabei ging es nicht nur um sinngemäße, sondern um exakte Wortvorhersagen. Ein weiteres Modell, das mit dem englischen Roman „Per Anhalter durch die Galaxis“ von Douglas Adams trainiert wurde, zeigte ähnliche Ergebnisse.

Selbstorganisierte Sprachmuster

Um sicherzustellen, dass die KI nicht einfach Textabschnitte auswendig lernte, wurden für die Tests nur Textpassagen verwendet, die im Training nicht vorkamen. Das eingesetzte neuronale Netz war mit sogenannten bidirektionalen Long-Short-Term-Memory-Schichten ausgestattet. Diese Netzarchitektur erlaubt es, Abhängigkeiten zwischen Wörtern zu speichern und wieder abzurufen, ähnlich einem Kurzzeitgedächtnis.

Im Verlauf des Trainings entwickelten die Modelle eine Art internes Ordnungssystem. Sie begannen, Wörter nach ihren grammatischen Funktionen zu gruppieren und konnten mit hoher Wahrscheinlichkeit vorhersagen, welche Wortart als Nächstes folgen würde. Dieses Verhalten trat auf, obwohl den Modellen keinerlei Regeln über Sprache oder Wortklassen vermittelt wurden.

Bedeutung für die Weiterentwicklung von Sprach-KI

Die Ergebnisse der FAU-Forschung zeigen, dass KI-Modelle grundlegende Strukturen der menschlichen Sprache durch reines Musterlernen erfassen können. Damit liefern sie neue Impulse für die Weiterentwicklung von Sprachsystemen und maschinellem Lernen.

Das Verständnis darüber, wie neuronale Netze Sprache intern verarbeiten, könnte helfen, künftige Modelle nicht nur leistungsfähiger, sondern auch nachvollziehbarer zu gestalten. Die Studie legt damit eine wissenschaftliche Grundlage für eine nächste Generation erklärbarer Sprach-KI.