Mit Token-Budgets und Hypothesen zu mehr Kontrolle

Es wird aktuell intensiv diskutiert: Tokenmaxxing. Ursprünglich eingeführt, um Produktivität und Experimentierfreude von Entwicklerteams zu fördern, ist es mittlerweile oftmals Ursache für enorme Kosten, inflationäre Prozesse sowie eine mangelhafte Qualität von Entwicklungen.

Um diesen Negativ-Trend aufzuhalten, müssen Unternehmen aktiv werden.

Im April dieses Jahres sorgte eine Meldung für Aufsehen: Die Entwicklerteams von Uber hatten das gesamte für 2026 vorgesehene KI-Budget aufgebraucht. Als Hauptgrund nannte das Unternehmen den stark zunehmenden Einsatz von Claude. Einzelne Nutzer verursachten dabei monatlich API-Kosten in Höhe von 500 bis 2.000 US-Dollar. Ähnlich ist es bei anderen Unternehmen – und die Dimensionen sind beachtlich: Bei Meta beispielsweise wurden innerhalb eines Zeitraums von 30 Tagen 60,2 Billionen (!) Token verbraucht. Längst ist in vielen Unternehmen ein Wetteifern um den Rang einer „Token Legend” entbrannt, der extreme Verbrauch zu einer Leistungskennzahl geworden.

Fokus auf gesamte Lebensdauer 

Die hohen und teils ausufernden Kosten sind nur ein Nachteil, mit denen Unternehmen konfrontiert sind. Wie lässt sich diese negative Entwicklung aufhalten? Die Lösung liegt nicht im Einsatz neuer Tools. Vielmehr sollte eine konsequente wirtschaftliche Bewertung von KI-Features über ihren gesamten Lebenszyklus erfolgen. Dies beinhaltet auch, dass bereits vor Beginn der Entwicklung ein nachvollziehbarer Nutzen und eine Bewertung des Bedarfs definiert werden. Dabei sind im Wesentlichen folgende Fragen zu klären:

• Für die Entwicklung: Wie viele Token und wie viel Entwicklungsaufwand sind für die Bereitstellung erforderlich?
• Beim Betrieb: Welche Kosten entstehen pro Aufruf, pro Nutzer und pro Monat bei einer bestimmten erwarteten Auslastung?
• Für die Wartung: Was kostet es, den Betrieb aufrechtzuerhalten, wenn Modelle aktualisiert, Prompts angepasst oder Abhängigkeiten verändert werden?

Ein Budget schafft nur dann wirtschaftlichen Nutzen, wenn Investitionen auf überprüfbaren Hypothesen statt auf technologiegetriebenen oder hierarchisch basierten Entscheidungen beruhen. Zwar beschleunigt KI die Entwicklung neuer Funktionen erheblich. Gleichzeitig steigt jedoch das Risiko, Features mit unklarem wirtschaftlichem Mehrwert und hohen Folgekosten zu realisieren. Deshalb sollte jede Investitionsentscheidung auf einer klar formulierten Annahme über den erwarteten Nutzen basieren.

Wartungskosten und Betrieb realistisch bewerten

Der größte Kostenfaktor KI-gestützter Softwaresysteme liegt häufig nicht in der Entwicklung, sondern im langfristigen Betrieb. Modelle müssen aktualisiert, Preisänderungen berücksichtigt und Evaluierungen regelmäßig wiederholt werden – Aufwände, die in klassischen Kostenschätzungen oft unzureichend berücksichtigt werden. Da die Betriebskosten generativer KI mit der Nutzung sowie dem Token- und Rechenverbrauch skalieren, können insbesondere agentenbasierte Systeme innerhalb kurzer Zeit erhebliche Kosten verursachen. Umso wichtiger ist es, Betriebs- und Wartungskosten bereits bei der Planung systematisch zu berücksichtigen.

Token-Budgetierung als Tool des Kostenmanagements

Um Kostenrisiken entgegenzusteuern, empfiehlt sich – wie zuvor erwähnt – die Einführung einer systematischen Budgetierung von KI-Funktionen. Dadurch werden die langfristigen Auswirkungen einer Implementierung frühzeitig sichtbar. Ein praktikabler Ansatz umfasst insbesondere folgende konkrete Maßnahmen:

• Ergänzung der üblichen Aufwandsschätzung jedes Tickets um ein erwartetes Token- oder Betriebsbudget.
• Klare Trennung zwischen Entwicklungs-, Betriebs- und Wartungsbudget sowie kontinuierliche Nachverfolgung aller drei Kostenzuweisungen.
• Verknüpfung jeder Budgetfreigabe mit einer expliziten Geschäftshypothese sowie einer möglichst kostengünstigen Methode zu deren Validierung.
• Einsatz von Circuit Breakern und kontinuierlichem Nutzungsmonitoring, um außer Kontrolle geratene Agenten oder unerwartete Kostenentwicklungen innerhalb weniger Minuten zu erkennen und automatisch zu begrenzen.
• Kritische Bewertung neuer Funktionen anhand ihres gesamten Lebenszyklus. Funktionen, deren erwartete Betriebs- und Wartungskosten den plausiblen geschäftlichen Nutzen übersteigen, sollten unabhängig von geringen Entwicklungskosten nicht umgesetzt werden.

Dabei geht es nicht primär um maximale Kosteneinsparungen. Vielmehr wird eine fundierte wirtschaftliche Entscheidungsgrundlage geschaffen. Die Erfahrungen großer Technologieunternehmen wie Shopify oder Uber zeigen, dass leistungsfähige KI-Tools einen erheblichen Mehrwert schaffen können. Voraussetzung dafür ist jedoch Transparenz über ihre tatsächlichen Betriebskosten. Nur wenn diese bereits vor der Implementierung realistisch abgeschätzt werden, lässt sich beurteilen, welche Funktionen langfristig wirtschaftlich tragfähig sind.

Ausblick

Die zunehmende Verbreitung KI-gestützter und agentenbasierter Softwaresysteme lässt vor dem Hintergrund des oben geschilderten Kontexts grundlegende Fragen aufkommen: Sollte jede Softwarefunktion über ein explizites Betriebs- beziehungsweise Token-Budget verfügen? Und: Wenn weder der erwartete geschäftliche Nutzen noch die langfristigen Betriebs- und Wartungskosten einer Funktion quantifizierbar sind, ist ihre Entwicklung überhaupt ausreichend begründet? Gleichzeitig gilt, dass Kostenkennzahlen nicht als Selbstzweck zu verstehen sind, sondern als Entscheidungshilfe innerhalb eines ganzheitlichen Bewertungsprozesses. Wie sich entsprechende Steuerungsmechanismen in der Praxis etablieren werden, dürfte die zukünftige Gestaltung KI-gestützter und agentenbasierter Softwareentwicklung maßgeblich beeinflussen.

Autor: Ben O’Mahony, Principal AI Engineer bei Thoughtworks