Uhrzeit und Kalender: KI-Modelle scheitern an Alltagsaufgaben

Eine Studie offenbart Lücken bei multimodalen KI-Systemen. Beim Ablesen analoger Uhren und bei Kalenderberechnungen versagen selbst Top-Modelle regelmäßig.

Forschende der Universität Edinburgh unter der Leitung von Rohit Saxena haben die Fähigkeiten führender multimodaler KI-Modelle untersucht. Im Rahmen der auf der KI-Konferenz ICLR präsentierten Studie wurden Systeme wie GPT-4o (OpenAI), Gemini 2.0 (Google), Claude 3.5 Sonnet (Anthropic) und Llama 3.2-Vision (Meta) mit visuellen und arithmetischen Alltagsaufgaben konfrontiert.

Die Ergebnisse zeigen deutliche Defizite bei Aufgaben, die für Menschen selbstverständlich sind:

• Analoge Uhren: Die KI-Systeme erkannten die genaue Uhrzeit auf Bildern von Ziffernblättern lediglich in 38,7 Prozent der Fälle korrekt.
• Kalenderberechnungen: Bei Fragen zu Wochentagen oder Datumsberechnungen (etwa der Bestimmung des 153. Tages eines Jahres) lag die Erfolgsquote bei nur 26,3 Prozent.

Räumliches Denken und fehlende Rechenalgorithmen

Die Studienautoren führen die hohe Fehlerquote auf grundlegende Unterschiede zwischen menschlicher Kognition und der Funktionsweise von Sprachmodellen zurück.

Während KI-Modelle problemlos erkennen, dass es sich bei einem Objekt um eine Uhr handelt, erfordert das konkrete Ablesen räumliches Denken. Die Systeme müssen überlappende Zeiger analysieren, Winkel messen und unterschiedliche Designs wie römische Zahlen verarbeiten.

Auch bei Kalenderfragen zeigt sich ein strukturelles Problem: Großanwendungen führen für Rechenaufgaben meist keine klassischen mathematischen Algorithmen aus, sondern sagen Ergebnisse auf Basis von Mustern aus ihren Trainingsdaten voraus. Fehlen in diesen Trainingsdaten spezifische Muster – wie seltene Konstellationen oder Schaltjahrberechnungen –, scheitert die KI an der Verallgemeinerung.

Menschliche Kontrolle bleibt entscheidend

Studienleiter Rohit Saxena unterstreicht die Konsequenzen für den Praxiseinsatz in zeitkritischen Anwendungen wie der Terminplanung oder Automation:

„Für uns sehr einfache Aufgaben wie das Ablesen einer Uhr können für KI sehr schwer sein – und umgekehrt. KI ist mächtig, aber wenn Aufgaben Wahrnehmung mit präziser Logik verbinden, brauchen wir weiterhin strenge Tests, Ausweichlogiken und in vielen Fällen den Menschen im Prozess.“

Rohit Saxena, Studienleiter

(red)