Thought Leadership
KI wird mehr und mehr zu einem festen Bestandteil der strategischen Ausrichtung vieler Unternehmen und eine immer größer werdende Zahl an operativen Prozessen wird durch KI unterstützt. Die damit deutlich zunehmenden KI-Workloads sind ein zentrales Thema für heutige Rechenzentren. Dabei gibt es grundlegende Storage-Herausforderungen, die es zu lösen gilt.
Die möglichen Storage-Strategien variieren stark. Dieser Artikel beleuchtet mögliche Lösungen und gibt Unternehmen Orientierungshilfen, wie sie eine robuste Storage-Architektur effektiv in ihre Rechenzentrumsplanung integrieren können.
Software-Defined Storage versus proprietäre Lösungen
Der Ansatz des Software-Defined Storage bietet deutliche Vorteile gegenüber traditionellen, proprietären Storage-Lösungen. Proprietäre Systeme, die über viele Jahre hinweg weit verbreitet waren, bringen Nachteile wie hohe Kosten, Anbieterbindung (Vendor Lock-in) und begrenzte Verfügbarkeit der Lösungen mit sich. Diese Einschränkungen resultieren insbesondere daraus, dass spezifische Software zwingend mit maßgeschneiderter Hardware kombiniert werden muss.
Software-Defined Storage-Lösungen umgehen diese Limitierungen durch den Einsatz von optimierten Storage-Servern, die speziell entwickelte Managementsoftware hosten. So entstehen spezialisierte Lösungen, die auf eine Vielzahl von Workloads abgestimmt werden können.
Diese Lösungen kombinieren skalierbare, parallele Dateisysteme, Objektspeichersysteme und skalierbare Netzwerke mit der richtigen Mischung aus leistungsoptimierten SSD- und HDD-Laufwerken – abgestimmt auf den jeweiligen Einsatzfall. Durch die Integration moderner Netzwerk- und Systemtechnologien wie RoCE (RDMA over Converged Ethernet), GPUDirect Storage (GDS), CXL (Compute Express Link) und PCIe Gen 5 können zusätzliche Performancevorteile und neue Funktionalitäten erreicht werden.
Die passende Lösung finden
Unternehmen finden die optimale Storage-Lösung nur durch praxisnahes Ausprobieren. Deshalb sind umfassende Tests und Qualifizierungen essenziell. Zwar ermöglichen Software-Defined Storage-Ansätze theoretisch den Einsatz beliebiger Hardware-, Storage-, Software- und Netzwerkkomponenten, doch die Realität sieht anders aus: Kombinationen müssen sorgfältig validiert werden, um zuverlässigen Betrieb im produktiven Umfeld sicherzustellen
Die rasante Innovationsdynamik in den Bereichen Systemarchitektur, CPU-Design, SSD- und HDD-Technologien, Kapazitäten sowie Netzwerk- und Storage-Software erfordert eine kontinuierliche Beobachtung. Oft erfolgt dies in enger Zusammenarbeit mit Technologiepartnern, einschließlich der Softwareanbieter, um optimale Performance- und Kostenkennzahlen zu erreichen.
Mehr denn je ein Muss: Eine KI-orientierte Denkweise
Angesichts der allgegenwärtigen Bedeutung von KI in Rechenzentren muss jede Storage-Lösung KI-Aspekte berücksichtigen – selbst wenn KI nicht der Haupt-Workload ist. So sind parallele Dateisysteme für HPC- und KI-Trainings-Workloads ausgelegt, während HCI-Lösungen von beispielsweise von Nutanix KI-Inferenz-Workloads mit ChatGPT-in-a-Box-Funktionalität unterstützen. Objektspeichersoftware von Anbietern wie DDN, Cloudian, Quantum oder OSNexus kommt entweder als Kapazitätsstufe für parallele Dateisysteme zum Einsatz oder wird direkt für KI-Trainings-Workloads genutzt.
Ziel: Der unternehmensweite Daten-Backbone
Storage wird ein zentraler Aspekt der Rechenzentrumsplanung bleiben, um immer anspruchsvollere Workloads zu ermöglichen. Die Implementierung kundenspezifischer KI-Modelle und -Anwendungen ist ein entscheidender Meilenstein für die KI-Adoption und -Aggregation – mit einer gemeinsamen Grundlage: dem unternehmensweiten Daten-Backbone.
Zur Unterstützung dieser Entwicklung erwarten wir, dass Unternehmen verstärkt auf Data Lakes und Lakehouses setzen, um Daten effizient zu sammeln und zu verarbeiten. Mit der stetigen Ausweitung der Datenquellen und dem wachsenden Bedarf an Echtzeit-Updates von KI-Modellen mittels eventgetriebener Frameworks wird eine automatisierte Datenorchestrierung über ausgefeilte Managementsoftware zunehmend unverzichtbar.
