Das quelloffene Werkzeug von Scott Hanselman zeigt, welche Prozesse wie viel Grafikspeicher belegen, und schlüsselt lokale KI-Modelle auf.
gputaskman
Open Source: Microsoft veröffentlicht GPU-Taskmanager
Bildquelle: ACHPF/Shutterstock.com
Scott Hanselman, Vice President bei Microsoft und GitHub, hat mit gputaskman ein quelloffenes Werkzeug veröffentlicht, das die Nutzung des Grafikprozessors (GPU) nach einzelnen Prozessen aufschlüsselt. Der Windows-Taskmanager zeigt zwar die Gesamtauslastung des Grafikspeichers (VRAM) an, aber nicht, welche Anwendung wie viel davon belegt. gputaskman soll diese Lücke schließen. Hanselman stellte das Projekt auf X vor.
„In meiner GPU ist viel los. Ich baue einen GPU-Taskmanager, um zu sehen, wohin mein GPU-Speicher geht.”
Scott Hanselman, Vice President bei Microsoft und GitHub
KI-Modelle und KV-Cache im Blick
Das Werkzeug läuft im Terminal und zeigt für jeden Prozess die GPU-Aktivität, den belegten Grafikspeicher und die verwendete Laufzeitumgebung an. Hinzu kommen Diagramme zu GPU-Last, Speicherbelegung und Temperatur. Für lokal betriebene KI-Modelle und große Sprachmodelle schlüsselt gputaskman zudem auf, wie viel Speicher auf die Modellgewichte und auf den sogenannten KV-Cache entfällt, in dem Sprachmodelle Zwischenergebnisse für den Kontext speichern. Auch die Zahl der Parameter eines Modells wird angezeigt. Einige dieser Angaben leitet das Werkzeug laut der Projektbeschreibung ab, statt sie direkt auszulesen. Den Inhalt des Grafikspeichers selbst liest es nicht aus.
Auf Hanselmans eigenem System mit einer Grafikkarte vom Typ RTX 4080 Super belegte der Desktop Window Manager von Windows am meisten Grafikspeicher.
Frühe Version unter MIT-Lizenz
gputaskman liegt in Version 0.3.0 vor und steht unter der MIT-Lizenz auf GitHub zur Verfügung. Unterstützt werden laut Projektseite Windows mit Grafikkarten von AMD und Nvidia sowie Linux und das Windows-Subsystem für Linux (WSL). Unter WSL lässt sich der Speicherverbrauch einzelner Linux-Prozesse allerdings nicht ermitteln, da Windows die GPU verwaltet. Für Windows gibt es eine portable Version, für die Installation aus dem Quellcode ist Python 3.11 oder neuer nötig. Unterstützung für Windows auf ARM-Prozessoren will Hanselman nachreichen. In Kommentaren deutete er zudem an, dass erweiterte Funktionen zur Überwachung der GPU künftig direkt in Windows einziehen könnten.
Der Speicherbedarf von Anwendungen gewinnt angesichts der stark gestiegenen Preise für Grafikkarten und Arbeitsspeicher an Bedeutung. Discord etwa baut seinen Desktop-Client neu in Rust, um den Speicherverbrauch zu senken.
(red)
