TPU 8tx bringt Confidential Computing auf Hardwareebene, TPU 8i Max verdoppelt Rechenleistung und Speicherbandbreite für große Kontextfenster.
Geschützte Verarbeitung sensibler Daten
Google erweitert TPU-Familie um 8tx und 8i Max
Bildquelle: sockagphoto/Shutterstock.com
Google hat seine achte Generation von KI-Beschleunigern vom Typ Tensor Processing Unit (TPU) um zwei weitere Systeme ergänzt: TPU 8tx und TPU 8i Max. Damit umfasst die Generation vier verschiedene Systeme. Die auf der Konferenz Cloud Next vorgestellte TPU 8t ist für das Training großer Modelle gedacht, die TPU 8i für Inferenz und logisches Schließen mit geringer Latenz. Laut Google bietet die TPU 8t eine bis zu 2,7-fach höhere Trainingsleistung als die Vorgängergeneration, die TPU 8i ein bis zu 80 Prozent besseres Preis-Leistungs-Verhältnis bei der Inferenz.
„Heute erweitern wir unser Portfolio an TPUs der achten Generation um zwei neue Systeme, die speziell für die Ära der Agenten entwickelt wurden – damit haben wir in einem einzigen Jahr insgesamt vier verschiedene TPU-Systeme der achten Generation vorgestellt.”
Geschützte Verarbeitung sensibler Daten
Die TPU 8tx richtet sich an Organisationen, die sensible Daten verarbeiten oder strengen regulatorischen Vorgaben unterliegen. Sie bietet Confidential Computing auf Hardwareebene, schützt Daten und Modellgewichte also auch während der Verarbeitung. Üblicherweise müssen Prozessoren Daten dafür entschlüsseln, was trotz verschlüsselter Speicherung und Übertragung ein Risiko darstellt.
Die TPU 8tx nutzt dieselben Chips wie die TPU 8t, kombiniert mit Host-Prozessoren der fünften Generation der Reihe EPYC von AMD und Googles Netzwerktechnik Boardfly. Gegenüber der TPU 8t soll sie die Latenz bis auf die Hälfte senken, die Leistungseinbußen durch die Schutzfunktionen seien gering. Unternehmen sollen damit eigene Modelle mit vertraulichen Daten nachtrainieren oder in kleinere Modelle überführen können, ohne Daten zwischen getrennten Clustern zu übertragen.
Doppelte Bandbreite für lange Kontexte
Die TPU 8i Max kombiniert zwei TPU-8i-Chips in einem Gehäuse und verdoppelt damit Rechenleistung, On-Chip-Speicher (SRAM) und die Bandbreite des High Bandwidth Memory. Bei gleicher Rackfläche passt doppelt so viel Silizium ins Rechenzentrum. Gedacht ist das System für Anwendungen mit sehr großen Kontextfenstern, wie sie KI-Agenten zunehmend nutzen.
Software für leichteren Einstieg
Zudem baut Google die Software rund um seine TPUs aus. Das Open-Source-Projekt TorchTPU soll PyTorch nativ unterstützen, sodass sich bestehender Code und Modelle von Hugging Face ohne Anpassung ausführen lassen. Hinzu kommen Agenten für die TPU-Entwicklung, die mit Claude Code, Cursor und Google Antigravity zusammenarbeiten. Die Funktion TPU Sync soll TPU-Speicher, Host-Speicher und gemeinsamen Speicher zusammenführen und die Zeit bis zum ersten Token um mehr als 90 Prozent verkürzen.
Laut Google nutzen inzwischen fast 100 Kunden TPUs, darunter KI-Labore, Handelsfirmen, Händler und Hochschulen. TPUs lassen sich auch in eigenen Rechenzentren betreiben. Wann die neuen Systeme verfügbar sind, hat Google nicht mitgeteilt.
(red)
