Der Einsatz von KI-gestützten Entwickler-Tools wie Cursor wird häufig als Produktivitäts-Booster gefeiert.
Doch eine aktuelle Studie der gemeinnützigen Forschungsorganisation METR (Model Evaluation and Testing for Research) legt nahe: Bei erfahrenen Entwicklern, die mit einem Projekt bereits gut vertraut sind, kann der Einsatz solcher Tools eher hinderlich sein (via Pressetext).
Erwartung vs. Realität: KI verlangsamt statt beschleunigt
Im Mittelpunkt der Untersuchung standen erfahrene Open-Source-Entwickler, die mit bekannten Codebasen arbeiteten. Sie sollten mit Hilfe des KI-Assistenten Cursor typische Aufgaben erledigen. Die Entwickler rechneten im Vorfeld mit einer spürbaren Zeitersparnis – sie schätzten den Effizienzgewinn auf rund 24 Prozent.
Nach Abschluss der Aufgaben war die Begeisterung für die KI zwar noch vorhanden, doch die Einschätzung der Zeitersparnis fiel bereits geringer aus (nur noch 20 Prozent). Die tatsächlichen Messungen widersprachen jedoch beiden Einschätzungen: Statt schneller, wurden die Aufgaben durchschnittlich 19 Prozent langsamer erledigt.
Warum ausgerechnet erfahrene Entwickler ausgebremst wurden, liegt laut METR an einem scheinbar paradoxen Umstand: Wer sich bereits gut in einer komplexen Codebasis auskennt, investiert mehr Zeit darin, KI-Vorschläge zu prüfen, zu hinterfragen oder zu korrigieren. Der Mehraufwand beim Kontrollieren und Integrieren der KI-Hilfestellungen wiegt die theoretischen Vorteile oft auf – oder übertrifft sie sogar.
Die Autoren der Studie betonen, dass ihre Ergebnisse nicht auf alle Entwicklergruppen übertragbar sind. Gerade Einsteiger oder Entwickler, die an unbekannten Codebasen arbeiten, könnten deutlich stärker von KI-Assistenz profitieren. Hier kann generative KI schnell Orientierung bieten und den Zugang zu komplexen Projekten erleichtern.
Große Erwartungen – große Zweifel?
Nate Rush, Mitautor der Studie, zeigte sich von den Ergebnissen überrascht. Ursprünglich habe er sogar eine Verdopplung der Effizienz durch den KI-Einsatz erwartet. Die Studie wirft somit Fragen auf hinsichtlich der oft unkritisch positiven Annahmen über den Nutzen von KI in der Softwareentwicklung – insbesondere in Hinblick auf die Milliardeninvestitionen, die Tech-Unternehmen in KI-Produkte stecken.
Die Vorstellung, KI könne künftig menschliche Entwickler ganz oder teilweise ersetzen, ist nicht neu. Dario Amodei, CEO des KI-Unternehmens Anthropic, prognostizierte kürzlich sogar, dass in den nächsten fünf Jahren bis zu die Hälfte der Büroarbeitsplätze durch KI entfallen könnte.
Solche Aussagen stehen im Kontrast zu den differenzierteren Erkenntnissen von METR. Während frühere Studien, etwa von der Cornell University oder Princeton University, klare Produktivitätsgewinne durch KI belegten (zum Teil bis zu 56 Prozent), zeigt METR: Kontext ist entscheidend. Die pauschale Gleichung „KI = schnelleres Programmieren“ greift zu kurz.