Thought Leadership
Cloudera und VAST Data wollen Unternehmen dabei unterstützen, KI-Anwendungen schneller und effizienter in den produktiven Betrieb zu bringen.
Ihre neue strategische Partnerschaft verbindet Datenplattform, Hochleistungsspeicher und KI-Infrastruktur zu einer einheitlichen Umgebung, in der Unternehmensdaten kontinuierlich für Training, Inferenz und Analysen bereitgestellt werden.
Viele Unternehmen verfügen inzwischen über leistungsfähige GPUs und umfangreiche Datenbestände. In der Praxis scheitert der effiziente KI-Betrieb jedoch häufig an der Verbindung zwischen beiden. Daten müssen zunächst erfasst, aufbereitet und an die entsprechenden KI-Systeme geliefert werden. Verzögerungen in diesen Prozessen können dazu führen, dass teure GPU-Ressourcen nicht ausreichend ausgelastet werden.
Genau an diesem Punkt setzt die Zusammenarbeit von Cloudera und VAST Data an. Die Partner wollen eine durchgängige Infrastruktur schaffen, die Daten über den gesamten KI-Lebenszyklus hinweg bewegt – von der Erfassung und Verarbeitung über das Training bis hin zur Inferenz und Analyse.
Die gemeinsame Architektur soll dabei sowohl in eigenen Rechenzentren als auch in privaten und öffentlichen Cloud-Umgebungen eingesetzt werden können. Unternehmen erhalten damit die Möglichkeit, KI-Workloads abhängig von Leistungsanforderungen, Compliance-Vorgaben und Kosten dort zu betreiben, wo es für sie am sinnvollsten ist.
Dateninfrastruktur soll GPU-Engpässe reduzieren
Ein zentrales Ziel der Lösung ist es, Datenengpässe in KI-Umgebungen zu vermeiden. Gerade beim Einsatz generativer und agentenbasierter KI müssen große Datenmengen kontinuierlich verarbeitet werden. Wenn die Daten nicht schnell genug bereitstehen, bleiben GPU-Cluster teilweise ungenutzt.
Cloudera bringt seine containerbasierten Datenservices in die gemeinsame Lösung ein. Dazu gehören unter anderem Funktionen für Data Engineering, Streaming, Analytics, Machine Learning und KI. Diese Dienste sollen in hybriden und Multi-Cloud-Umgebungen konsistent betrieben werden können.
Die Infrastruktur von VAST Data ergänzt diesen Ansatz mit einer Hochleistungsarchitektur für große Datenmengen. Das VAST AI Operating System verbindet Speicher, Datenbanken und globale Namespace-Funktionen. Hinzu kommen Vektordatenbankdienste sowie GPU-beschleunigte Verfahren für die Indizierung und Suche großer Datenbestände.
Auf diese Weise soll eine kontinuierliche Datenversorgung entstehen, die KI-Systeme mit hoher Bandbreite und niedriger Latenz versorgt. Das kann die Auslastung der vorhandenen Rechenkapazitäten verbessern und die Effizienz von KI-Workloads erhöhen.
Private KI für Unternehmen und regulierte Branchen
Ein weiterer Schwerpunkt der Partnerschaft liegt auf privaten und souveränen KI-Umgebungen. Die gemeinsame Architektur kombiniert NVIDIA-Infrastruktur und -Software mit dem VAST AI OS sowie den Daten- und KI-Diensten von Cloudera.
Unternehmen sollen damit KI-Anwendungen näher an ihren eigenen Daten betreiben können. Der Cloudera AI Inference Service ermöglicht es, KI-Modelle direkt in bestehende Datenumgebungen einzubinden. Unterstützt werden dabei auch aktuelle offene Modelle.
Für Unternehmen in stark regulierten Branchen kann die Kombination besonders relevant sein. Daten bleiben innerhalb kontrollierter Umgebungen, während Governance- und Compliance-Anforderungen in die KI-Infrastruktur integriert werden können.
Auch bestehende Datenverarbeitungsprozesse sollen von der Architektur profitieren. Über GPU-beschleunigte Verarbeitung können beispielsweise Apache-Spark-Workloads optimiert werden. Ziel ist eine durchgängige Infrastruktur, die von der Hardware- und Datenebene bis zu den fertigen KI-Anwendungen reicht.
Der Schritt von Experimenten zu dauerhaftem KI-Betrieb
Mit der Partnerschaft wollen Cloudera und VAST Data Unternehmen den Übergang von einzelnen KI-Projekten zu kontinuierlich betriebenen Produktionsumgebungen erleichtern. Statt Daten, Speicher, Rechenleistung und KI-Anwendungen in voneinander getrennten Systemen zu betreiben, soll eine gemeinsame operative Grundlage entstehen.
„Unternehmen investieren Milliarden in GPUs, doch viele können deren Kapazität aufgrund von Datenengpässen nicht voll ausschöpfen“, sagt Abhas Ricky, Chief Business Officer und GM, Applied AI bei Cloudera. „Unsere Partnerschaft mit VAST beseitigt GPU-Engpässe und befähigt Kunden, echte KI-Fabriken aufzubauen. Dort fließen Daten nahtlos von der Erfassung bis zur Erkenntnis.“
Auch VAST Data sieht den Schwerpunkt weniger in der Verfügbarkeit von Unternehmensdaten als in deren praktischer Nutzbarkeit. „Die meisten Unternehmen verfügen bereits über die benötigten Daten für KI. Die Herausforderung besteht darin, den Wert dieser Daten zu erschließen und eine kontinuierliche Pipeline für KI-Inferenz, Feinabstimmung und Datenanalyse zu schaffen“, erklärt Jeff Denworth, Mitgründer von VAST Data.
Die gemeinsame Lösung ist nach Angaben der Unternehmen ab sofort über deren Vertriebs- und Partnernetzwerke verfügbar. Weitere Referenzarchitekturen, validierte Bereitstellungsmuster und branchenspezifische Varianten sollen im weiteren Jahresverlauf folgen.
(red/Cloudera)
