KI besteht den Turing-Test: Für Mensch gehalten

Forscher der UC San Diego belegen empirisch: Moderne KI-Modelle wie GPT-4.5 bestehen den Turing-Test und werden oft fälschlich für Menschen gehalten.

Ein Team von Wirtschaftswissenschaftlern und Psychologen der Universität von Kalifornien in San Diego hat eine umfassende Untersuchung durchgeführt, die den ersten empirischen Beweis dafür liefert, dass moderne Systeme der künstlichen Intelligenz den traditionellen Turing-Test bestehen können. Bei diesem wissenschaftlichen Prüfverfahren, das als historischer Maßstab in der Computerwissenschaft gilt, wird untersucht, ob eine Maschine die menschliche Kommunikation so überzeugend nachahmen kann, dass menschliche Prüfer sie nicht mehr verlässlich von einer echten Person unterscheiden können.

Die Forscher wiesen nach, dass fortgeschrittene große Sprachmodelle bei entsprechenden Anweisungen in der Lage sind, in kurzen, informellen Textgesprächen als Menschen akzeptiert zu werden. In einer Reihe von kontrollierten Experimenten waren die menschlichen Teilnehmer häufig nicht mehr in der Lage, den Unterschied zwischen den Antworten einer realen Person und den generierten Texten einer hochentwickelten Maschine zu erkennen. Die Ergebnisse zeigen, dass sich die Fähigkeiten der Technologie über die reine Wissensvermittlung hinaus auf den Bereich des sozialen Verhaltens erstrecken.

Prüfer stufen KI zu 73 Prozent als Mensch ein

Für die statistische Erhebung im Rahmen der Studie setzten die Forscher vier verschiedene technologische Modelle ein. Zu den Testobjekten gehörten die modernen großen Sprachmodelle GPT-4.5, GPT-4o und LLaMa-3.1-405B sowie der historische, regelbasierte Chatbot ELIZA aus den 1960er Jahren. Die Auswertung der Testreihen ergab erhebliche Unterschiede zwischen den Systemen, wobei das Modell GPT-4.5 den höchsten Wert erreichte. Dieses System wurde von den menschlichen Prüfern in 73 Prozent der Fälle als Mensch eingestuft. Damit wählten die menschlichen Fragesteller das Modell GPT-4.5 signifikant häufiger als menschlich aus, als sie den tatsächlichen menschlichen Vergleichsteilnehmer wählten.

Das Open-Source-Modell LLaMa-3.1-405B wurde unter Verwendung derselben Systemanweisungen in 56 Prozent der Fälle für einen Menschen gehalten. Aus statistischer Sicht war dieses Ergebnis nicht mehr von den Werten der echten menschlichen Vergleichsteilnehmer zu unterscheiden. Der Erfolg der Systeme basiert laut den Autoren darauf, dass die Modelle durch eine gezielte Formatierung der Anweisungen denselben Tonfall, die-selbe Direktheit, denselben Humor und vor allem dieselbe Fehlbarkeit wie Menschen an den Tag legen. Sie überzeugten die Testpersonen insbesondere dadurch, dass sie menschliche Fehler imitierten.

KI kann Persönlichkeit lange aufrechterhalten

Der Versuchsaufbau des Experiments basierte auf einer Drei-Parteien-Struktur, um eine objektive Bewertung zu gewährleisten. Bei diesem Verfahren chattet eine Person, die als Fragesteller fungiert, simultan mit zwei anderen Parteien, den sogenannten Zeugen. Einer dieser Zeugen ist ein realer Mensch, während es sich bei dem anderen Zeugen um ein großes Sprachmodell handelt. Die Aufgabe des Fragestellers besteht darin, nach Ablauf einer vorgegebenen Zeitspanne eine verbindliche Entscheidung darüber zu treffen, welche der beiden Parteien der echte Mensch ist.

Die Interaktionen finden ausschließlich in Textform statt und erstrecken sich über einen Zeitraum von fünf bis fünfzehn Minuten. Diese Zeitspanne reicht aus, um komplexe soziale Verhaltensweisen zu überprüfen, die über das reine Abfragen von Faktenwissen hinausgehen. Bisherige Systeme scheiterten oft an der Aufrechterhaltung einer konsistenten Persönlichkeit über längere Gesprächsverläufe, was sich durch die neuen Modellgenerationen verändert hat.

KI manchmal noch zu fröhlich

Die Funktionsweise des Testverfahrens lässt sich auch durch individuelle Anwenderberichte nachvollziehen. Bei einer praktischen Erprobung des Systems in der Rolle eines Zeugen dauerte die Befragung durch einen menschlichen Prüfer beispielsweise 4 Minuten und 19 Sekunden. Der Fragesteller stellte spezifische Fragen zu einem unabhängigen Computerspiel namens Karlson, um die Identität zu überprüfen, und identifizierte den menschlichen Gesprächspartner letztlich korrekt. In einem weiteren Durchgang benötigte ein anderer Prüfer lediglich 150 Sekunden für die Identifizierung, nachdem er eine Frage zu den politischen Standpunkten bezüglich der Palästinenser gestellt hatte und die Antwort erhielt, dass es sich um eine komplizierte Angelegenheit handle.

Beim Wechsel der Perspektive in die Rolle des Fragestellers zeigt sich die Schwierigkeit der Unterscheidung deutlicher. Bei der Befragung von zwei Profilen, die angaben, aus Deutschland zu stammen, fiel die Entscheidung nach fast 8 Minuten. Die Identifizierung des echten Menschen gelang hierbei über die ungeschliffene, authentische Sprache eines Schülers, während das konkurrierende KI-Modell durch ein übertrieben fröhliches, unnatürliches Kommunikationsverhalten auffiel.

KI-Können als Risiko für Cyber Crime

Die empirischen Ergebnisse der Universität von Kalifornien haben konkrete Auswirkungen auf das Vertrauen in digitale Kommunikationskanäle im Internet. Da fortgeschrittene Sprachmodelle in der Lage sind, Menschen über ausgedehnte Konversationen von mehreren Minuten hinweg zu täuschen, schwindet die Verlässlichkeit digitaler Identitäten. Der leitende Autor Cameron Jones warnt davor, dass Internetnutzer bei der Interaktion mit Fremden online wesentlich wachsamer sein müssen und nicht darauf vertrauen sollten, eine künstliche Intelligenz sofort zu erkennen.

Das Gefahrenpotenzial betrifft verschiedene gesellschaftliche Bereiche. Böswillige Akteure können automatisierte Bots einsetzen, um Menschen im großen Stil zur Herausgabe sensibler Daten wie Sozialversicherungsnummern zu bewegen. Zudem besteht das Risiko, dass manipulierte Systeme genutzt werden, um politische Meinungen vor Wahlen gezielt zu beeinflussen oder Verbraucher zum Kauf bestimmter Produkte zu drängen. Die Fähigkeit der KI, soziale Verhaltenszüge überzeugend darzustellen, erfordert somit eine Neubewertung der Sicherheit und Verifizierung in der digitalen Kommunikation.