DeepSeek legt Inferenz-Framework DeepInfer offen

Das chinesische KI-Unternehmen DeepSeek hat sein intern entwickeltes Inferenz-Framework DeepInfer als Open Source veröffentlicht. Mit der Software betreibt DeepSeek seine KI-Modelle im Produktivbetrieb. Inferenz bezeichnet das Ausführen trainierter Modelle, etwa um Anfragen von Nutzern zu beantworten. DeepInfer steht auf GitHub und PyPI unter der Lizenz Apache 2.0 zur Verfügung. Ursprünglich basiert es laut DeepSeek vor allem auf der quelloffenen Inferenzsoftware vLLM, mit Anleihen bei SGLang und TensorRT-LLM.

Nvidia Blackwell und Huawei Ascend

Unterstützt wird zunächst nur das im September veröffentlichte Modell DeepSeek-V4.1-Flash, und zwar sowohl auf Grafikprozessoren von Nvidia mit der Blackwell-Architektur SM100 als auch auf Chips vom Typ Ascend 950 von Huawei. Zu den Funktionen gehören optimierte Kernel, verteilte Inferenz, spekulatives Dekodieren und strukturierte Ausgaben. Zudem soll DeepInfer gleiche Ergebnisse unabhängig von der Zusammensetzung eines Batches liefern. Bereits verarbeitete Informationen hält das Framework laut DeepSeek mehr als 72 Stunden vor, um wiederholte Berechnungen zu vermeiden. Die veröffentlichte Version deckt die Offline-Inferenz ab, einige Komponenten für einen vollständigen Inferenzdienst sind nicht enthalten.

Nach eigenen Angaben will DeepSeek der Community damit helfen, Rechenkosten und Energieverbrauch zu senken und KI günstiger zu machen. Cui Tianyi, Leiter des sogenannten Harness-Teams bei DeepSeek, erklärte, das Unternehmen hoffe, dass weltweit mehr Firmen und Organisationen DeepSeek-Modelle einsetzen und damit Gewinne erzielen.

Kampfansage gegen geschlossene Modelle

Begleitet wurde die Veröffentlichung von ungewöhnlich scharfen Worten des DeepSeek-Forschers Chen Deli.

„Open Source gegen Closed Source. Licht gegen Dunkelheit. Eine Entscheidungsschlacht zwischen zwei Zukünften, zwei Schicksalen der Menschheit. Wie lange sie auch kämpfen wollen, wir werden kämpfen. Bis zum vollständigen Sieg.”
Chen Deli, DeepSeek-Forscher

Die Veröffentlichung fällt in eine Phase verschärfter Konkurrenz zwischen China und den USA bei KI. Das US-Heimatschutzministerium hatte am 19. Oktober eine bereits im Juli unterzeichnete Anordnung veröffentlicht, nach der zivile Bundesbehörden Produkte von DeepSeek aus ihren Systemen entfernen müssen. Begründet wird das mit der Sorge vor einem Abfluss sensibler Daten nach China. Chinas Regierung verteidigte DeepSeek daraufhin.

(red)