Eine Harvard-Studie mit Daten von über 700 Softwarefirmen zeigt: KI-Agenten steigern die Codemenge um 30 Prozent, mehr Aufgaben werden nicht erledigt.
Code-Review als Engpass
Harvard: KI bringt mehr Code, aber nicht mehr fertige Software
KI-Coding-Agenten erhöhen die Menge an geschriebenem Code, führen aber nicht dazu, dass Unternehmen mehr Software fertigstellen. Zu diesem Ergebnis kommt eine Studie der Harvard-Forscher Fiona Chen und James Stratton. Sie werteten Daten zu Entwicklungsaktivitäten aus mehr als 700 Softwareunternehmen aus.
Die Forscher unterscheiden zwischen Coding-Assistenten, die beim Vervollständigen von überwiegend menschlich geschriebenem Code helfen, und Agenten, die auf Basis von Prompts selbst Code schreiben und einreichen. Untersucht wurde, wie sich die Einführung solcher Agenten auf die Arbeit der Unternehmen auswirkt.
30 Prozent mehr Code
Nach Einführung von KI-Agenten stieg die Zahl der geschriebenen Codezeilen im Schnitt um 30 Prozent. Beschäftigte reichten pro Monat 20 Prozent mehr Commits und 23 Prozent mehr Pull Requests ein. Die Rate, mit der erfasste Aufgaben (Issues) und größere Funktionen abgeschlossen wurden, stieg dagegen nicht statistisch signifikant.
Code-Review als Engpass
Als Grund nennen die Forscher die Prüfung des Codes durch Menschen. Mit der wachsenden Menge an eingereichtem Code waren mehr Beschäftigte mit Code-Reviews beschäftigt. Die Zeitgewinne beim Schreiben würden durch den höheren Aufwand bei Prüfung, Tests und Integration aufgezehrt.
„Wir konnten in einigen Fällen schneller Code schreiben, aber es gibt immer nur einen Engpass. Wenn man das Programmieren beschleunigt, verlagert sich der Engpass woanders hin”, sagte ein erfahrener Entwickler, der für die Studie befragt wurde.
Ähnliche Ergebnisse früherer Studien
Bereits im Juni hatten Forscher des MIT und der Wharton School der University of Pennsylvania nach Auswertung der Daten von mehr als 100.000 GitHub-Entwicklern berichtet, dass KI-Coding-Werkzeuge zwar mehr Codezeilen erzeugen, die Zahl der Software-Releases aber nur um 20 Prozent stieg. Eine Studie der Forschungsorganisation METR hatte zuvor ergeben, dass einige Entwickler mit KI-Werkzeugen 19 Prozent länger für zugewiesene Aufgaben brauchten.
Zuletzt hatte zudem das Sicherheitsunternehmen Glow berichtet, dass Coding-Agenten bei der Vorbereitung von Code-Reviews mehr als 13.000 interne Bilder in öffentliche GitHub-Repositories hochgeladen hatten.
(red)
