Gartner erwartet massiven Anstieg der KI-Inferenzkosten

Sinkende Preise pro Token sollten KI eigentlich günstiger machen. Das Gegenteil ist der Fall, sagt das Analysehaus Gartner, weil komplexe KI-Agenten viel mehr Tokens verbrauchen als einfache Chatbots.

Eigentlich klingt es nach einer guten Nachricht: Die Kosten pro verarbeitetem Token bei großen Sprachmodellen sinken kontinuierlich, neue Modellgenerationen rechnen effizienter als ihre Vorgänger. Trotzdem werden Unternehmen laut einer aktuellen Prognose des Marktforschungs- und Beratungsunternehmens Gartner in den kommenden Jahren deutlich mehr Geld für KI-Inferenz ausgeben müssen, und zwar pro sogenanntem Agentic Workflow mehr als das Fünffache bis zum Jahr 2028.

Der Grund dafür ist ein Effekt, den Gartner als „Inference-Paradox“ bezeichnet: Bessere Kostenstruktur pro Recheneinheit führt in Summe zu höheren Gesamtkosten, ohne dass Unternehmen dafür einen verlässlichen oder planbaren Gegenwert erhalten. Kurz gesagt: Die Modelle werden billiger, aber die Aufgaben, die man ihnen gibt, werden schneller teurer, als sie günstiger werden.

Vom Chatbot zum autonomen Agenten

Verantwortlich dafür ist der Wandel von KI-Produkten weg von einfachen, assistierenden Funktionen hin zu KI-Agenten, die mehrstufige Aufgaben eigenständig ausführen. Gartner-Analyst Will Sommer beschreibt den Unterschied so: „Während ein einfacher Chatbot eine Anfrage nur lesen, interpretieren und schnell mit einer wahrscheinlich passenden Antwort reagieren muss, muss ein KI-Agent fortlaufend Schlussfolgerungen ziehen, verhandeln und sich selbst hinterfragen.“

All das kostet Rechenzeit und damit Tokens. Nach Gartners Berechnungen verursacht das Weiterleiten einer Aufgabe an ein Agentic-Reasoning-Modell im Vergleich zu einer einfachen Chatbot-Interaktion mindestens das Fünffache an Inferenzkosten bei den Anbietern. Mit zunehmender Komplexität der Aufgabe kann dieser Faktor laut Gartner noch deutlich höher ausfallen.

Drei Trends bei den Token-Kosten

Gartner nennt drei grundlegende Entwicklungen, die die sogenannte Token-Ökonomie prägen:

• Die Kostenstruktur der Basismodelle verbessert sich rasant.
• Effizientere KI-Modelle ermöglichen den Einsatz noch leistungsfähigerer, und teurerer, Modelle für anspruchsvollere Anwendungsfälle.
• Komplexere KI-Workflows verbrauchen erheblich mehr Tokens als einfache Chat-Interaktionen, was die Gesamtkosten in die Höhe treibt.

Tokens werden also günstiger, allerdings nicht schnell genug, um mit dem Zuwachs an KI-Fähigkeiten und den damit verbundenen Kosten Schritt zu halten. Das Innovationstempo übertrifft demnach die Kostenkurve.

Keine Abkürzung über „effizientere“ Modelle

Für Produktverantwortliche bedeutet das laut Sommer vor allem eines: „Produktverantwortliche können sich nicht darauf verlassen, dass effizientere Token-Ökonomie die KI-Kosten rechtfertigt.“ Jede neue Generation von KI-Fähigkeiten werde mehr, und oft teurere, Tokens benötigen. Ein universelles, zugleich leistungsfähiges und günstiges Modell sei nicht in Sicht. Wer wettbewerbsfähige KI-Produkte bauen wolle, komme nicht darum herum, komplexe Ökosysteme aus mehreren Modellen aufzubauen und zu pflegen.

Um trotzdem einen positiven Return on Investment aus fortgeschrittenen KI-Funktionen wie Reasoning-Agenten zu erzielen, sind laut Gartner zwei Wege denkbar: Entweder müssen die Erträge aus dem Einsatz exponentiell mit den Kosten mitwachsen, oder Unternehmen setzen auf fein abgestimmtes Inferenz-Tiering, Routing und Orchestrierung, um Aufgaben je nach Komplexität möglichst kosteneffizienten Modellen zuzuweisen. Beides sei machbar, erfordere aber laut Gartner erheblichen Aufwand über komplette Workflows hinweg.

Sommer bringt es abschließend auf den Punkt: „Wer standardmäßig auf generische autonome Intelligenz setzt, wird mit unbegrenzten Kosten konfrontiert, die um Größenordnungen über denen optimierter Produkt-Ökosysteme liegen.“

(red)