Thought Leadership
Mit einem Open-Source-Tool unterstützt Cloudian die Machine-Learning-Community: Die ML-Bibliothek Pytorch erhält mit S3-Objektspeichern mehr Rechenleistung und Flexibilität und profitiert von ML-Ausführung in AWS Outposts und lokale Zonen. Mit der Verbindung dieser Plattformen wird der Workflow nicht nur schneller, sondern vor allem effizienter.
Cloudian unterstützt die auf Maschinelles Lernen ausgerichtete Open-Source-Programmbibliothek PyTorch. Künftig lassen sich lokale Datenlakes einrichten, die auf dem S3-kompatiblen Objektspeicher von Cloudian HyperStore laufen. Dies soll den Machine-Learning-Workflow vereinfachen und die Kosten reduzieren. Die ML-Aufgaben können auch auf lokalen Rechen-Ressourcen wie AWS Outposts und lokalen Zonen ausgeführt werden.
Benutzer von AWS Outposts und lokalen Zonen können nun Python und Machine-Learning-Bibliotheken verwenden, um Daten innerhalb eines lokalen Hyperstore-Speichersystems zu analysieren. Datenwissenschaftler und KI-Entwickler bleibt der umständliche Schritt des Verschiebens von Daten in einen separaten Staging-Bereich erspart. Dies soll die Datenverarbeitungs-Pipeline vereinfachen und den Machine-Learning-Workflow beschleunigen.
»Dieser Open-Source-Beitrag überbrückt die Lücke zwischen verteilten S3-kompatiblen Objektspeichersystemen und Machine-Learning-Compute-Plattformen«, sagt Jon Toor, Chief Marketing Officer von Cloudian. »Und beseitigt die Abhängigkeit von einem dedizierten parallelen Dateisystem für Machine-Learning-Workflows. Durch die Ermöglichung des direkten Zugriffs auf ein kosteneffektives, skalierbares Datenrepository vereinfacht Cloudian den Machine-Learning-Prozess und reduziert die Komplexität und Kosten, die mit der Datenanalyse verbunden sind.«
Weiterführende Links:
- Cloudian S3-Connector für Pytorch GitHub-Repository von AWS Labs und Cloudian
- Datenanalyse: Cloudian & Cribl mit neuer S3-Data-Lake-Plattform
- Cloudian Hyperbalance: Lastverteilung für Objektspeicher
