Nach eigenen Tests überträgt das neue Modell COBOL-Programme zu bis zu 97,9 Prozent korrekt in moderne Sprachen. GPT-5.6 Sol kam auf 5,4 Prozent.
Legacy-Code
OpenAI: GPT-6.1 Sol migriert COBOL-Code deutlich besser
Bildquelle: agustin.photo/Shutterstock.com
OpenAI hat Testergebnisse veröffentlicht, nach denen seine neuen Modelle deutlich besser mit älteren Programmiersprachen umgehen. Als Beispiele nennt das Unternehmen COBOL, Fortran und Visual Basic. COBOL unterstützt laut OpenAI mehr als 40 Prozent der Online-Banking-Systeme, 80 Prozent der Kartenzahlungen vor Ort und 95 Prozent der Transaktionen an Geldautomaten. Fortran kommt unter anderem bei Wettervorhersagen und Sicherheitsanalysen für Kernreaktoren zum Einsatz.
„Für diese Sprachen gibt es weniger Code und Dokumentation, aus denen Modelle lernen können, als für Sprachen wie Python und JavaScript, dennoch unterstützen sie kritische Infrastrukturen und grundlegende Dienste auf der ganzen Welt.”
OpenAI
Datenbank in 20 Sprachen
Für die Tests hat OpenAI den Benchmark MultiLangBench entwickelt. Darin sollen Modelle in 20 Programmiersprachen von Grund auf eine mit SQLite kompatible Datenbank-Engine bauen. GPT-6 Astra erreichte im Schnitt eine Erfolgsquote von 87,4 Prozent bei den Tests, GPT-5.6 Sol kam auf 26,8 Prozent. Bei COBOL stieg der Wert von 10,9 auf 72,1 Prozent, bei Fortran von 21,4 auf 83,5 Prozent, bei OCaml von 25,6 auf 85,8 Prozent und bei Visual Basic von 27,5 auf 89,4 Prozent.
Migration nach Java, Python und Rust
Zudem prüfte OpenAI, ob seine Modelle COBOL-Programme nach C++, Java, Kotlin, Python oder Rust übertragen können, ohne ihr Verhalten zu verändern. GPT-6.1 Sol erreichte dabei nach Unternehmensangaben auf niedriger Denkstufe eine Genauigkeit von 86,6 Prozent, GPT-5.6 Sol auf derselben Stufe 5,4 Prozent. Die API-Kosten lagen bei 61 Prozent derjenigen von GPT-5.6 Sol. Auf höherer Denkstufe erreichte GPT-6.1 Sol 97,9 Prozent. Laut OpenAI ist der Test damit nahezu ausgereizt.
Die Ergebnisse stammen aus Tests von OpenAI selbst, unabhängige Überprüfungen liegen nicht vor. Migrationen im Produktivbetrieb erfordern laut BleepingComputer weiterhin eine Prüfung durch Fachleute und umfangreiche Tests. Einer Harvard-Studie zufolge wird bei KI-gestützter Softwareentwicklung zunehmend die Prüfung des erzeugten Codes durch Menschen zum Engpass.
(red)
