Laut VentureBeat sind die GPUs der meisten KI-Anwender höchstens zur Hälfte ausgelastet. Trotzdem planen 70 Prozent neue KI-Plattformen.
Trotzdem neue Plattformen
79 Prozent lassen GPUs meist ungenutzt
Die meisten Unternehmen, die KI im Produktivbetrieb einsetzen, lasten ihre Grafikprozessoren (GPUs) nur zur Hälfte oder weniger aus. Das zeigt eine Auswertung von VentureBeat Intelligence, der Analyseeinheit des US-Fachmediums VentureBeat. Von 218 Befragten, die Angaben zur Auslastung machten, gaben 79 Prozent an, ihre GPUs seien höchstens die Hälfte der Zeit beschäftigt. Grundlage sind drei monatliche Umfragen von Juli bis September 2026 mit insgesamt 385 Teilnehmern aus Organisationen mit mindestens 100 Beschäftigten. Die Teilnehmer wählten sich selbst aus, die Ergebnisse sind daher nicht repräsentativ für alle Unternehmen.
Neue Plattformen trotz Leerlauf
Von den Unternehmen mit wenig ausgelasteten GPUs planen 70 Prozent, innerhalb der nächsten zwölf Monate eine neue, zusätzliche oder ersetzende Plattform für KI-Rechenleistung einzuführen. Bei Unternehmen mit stärker ausgelasteten GPUs sind es 74 Prozent, der Unterschied ist statistisch nicht signifikant. 90 Prozent der Unternehmen mit ungenutzter Kapazität, die eine neue Plattform planen, ziehen dafür einen Cloud-Anbieter wie AWS, Microsoft Azure, Google Cloud oder Oracle oder einen Modellanbieter wie OpenAI, Anthropic oder Google in Betracht. Nur 8 Prozent nennen eigene oder bei Dienstleistern untergebrachte GPU-Cluster. Im September hatten 91 Prozent der Unternehmen mit Plänen für eine neue Plattform keine von der Finanzabteilung geprüfte Renditeberechnung.
Unternehmen, die KI auf eigenen GPU-Clustern oder mit selbst betriebener Open-Source-Software einsetzen, lasten ihre GPUs besser aus. Bei ihnen liegt der Anteil mit höchstens halber Auslastung bei 56 Prozent, bei allen anderen bei 83 Prozent. Teilweise kann ungenutzte Kapazität bewusst vorgehalten werden, etwa für Lastspitzen.
Geschlossene Modelle laufen nicht auf eigenen GPUs
Als möglichen Grund nennt VentureBeat, dass viele Unternehmen aus Sorge vor Engpässen in den Jahren 2024 und 2025 GPU-Kapazität reserviert haben, Beschäftigte aber die leistungsfähigsten Modelle von Anthropic, OpenAI und Google bevorzugen. Diese geschlossenen Modelle laufen auf der Infrastruktur der Anbieter und werden pro Token abgerechnet. Auf eigene GPUs lassen sie sich nicht laden. Wer dort Arbeit verlagern will, muss auf Open-Weight-Modelle umsteigen und sie selbst betreiben.
Die Kosten für KI beschäftigen derzeit viele Unternehmen. Uber hatte sein KI-Budget für 2026 bereits nach wenigen Monaten aufgebraucht.
„Wir kommen zum Ende der sogenannten Tokenmaxxing-Ära.”
Praveen Neppalli Naga
Gartner erwartet, dass die Inferenzkosten pro agentischem Arbeitsablauf bis 2028 um mehr als das Fünffache steigen, weil Agenten deutlich mehr Tokens verbrauchen, obwohl der Preis pro Token sinkt.
(red)
