Amazon: Token-Verbrauch ist kein Maß für Produktivität

Amazon hat aktualisierte Leitlinien für seine Softwareentwickler veröffentlicht. Darin beschreibt der Konzern, wie Entwickler und Führungskräfte den tatsächlichen Nutzen von KI bewerten sollen. KI werde zwar eine zentrale Rolle in der Softwareentwicklung spielen, ein hoher Verbrauch von Tokens bedeute aber nicht automatisch bessere Arbeit. Tom’s Hardware fasst die Botschaft unter dem Begriff „Tokenmaxxing” zusammen, also dem Versuch, mit möglichst hohem Token-Verbrauch produktiv zu wirken.

Kennzahlen nicht zum Ziel machen

Kennzahlen wie die Nutzungsrate von KI, der Token-Verbrauch, die Zahl der Codeänderungen und die Zahl der Code-Reviews bezeichnet Amazon als stark verzerrt, wenn sie losgelöst von tatsächlichen Ergebnissen betrachtet werden. Werden sie zu Zielen, fördere das verschwenderisches Verhalten. Das widerspreche Amazons Grundsätzen von Sparsamkeit und Einfachheit und könne sowohl die Rechenkosten als auch die Komplexität von Software erhöhen.

„Wir glauben, dass es am besten ist, langfristige Ergebnisse zu messen und an ihnen gemessen zu werden.”
Amazon

Nutzungsdaten sollen Führungskräfte dennoch nicht ignorieren, sondern mit Sorgfalt und Urteilsvermögen zusammen mit anderen Indikatoren auswerten. Amazon empfiehlt, sowohl die Teams mit der geringsten als auch die mit der höchsten KI-Nutzung zu betrachten, um festzustellen, ob sich der Einsatz in besseren Ergebnissen niederschlägt.

Nicht jede Aufgabe braucht KI

Zudem stellt Amazon klar, dass nicht jede Aufgabe ein KI-Werkzeug erfordert. Bringen die verfügbaren Werkzeuge für die Arbeit eines Entwicklers keinen Vorteil, sei das eine Erkenntnis und kein Versagen. Wer erklären könne, wo heutige Werkzeuge an Grenzen stoßen, zeige Urteilsvermögen und keine mangelnde Bereitschaft, KI zu nutzen.

Die Frage, wie viel KI-Nutzung sinnvoll ist, beschäftigt derzeit viele Unternehmen. OpenClaw-Entwickler Peter Steinberger hatte im Oktober gesagt, er habe in einem Monat Tokens im Wert von rund 10 Millionen Dollar verbraucht, nicht alles davon sei nützlich gewesen. Eine Studie von Harvard-Forschern hatte gezeigt, dass KI-Agenten die Codemenge in Unternehmen um 30 Prozent erhöhen, ohne dass signifikant mehr Aufgaben abgeschlossen werden.

(red)