Datenschutzhinweis
Weitere Informationen zu den verwendeten Cookies und wie Sie Ihre Einwilligung später jederzeit wiederrufen können finden Sie in unserer Datenschutzerklärung.
Das High Performance Storage Tier (HPST) hat die vollständige Produktion aufgenommen und eröffnet den Zugang zu weiteren Projekten über JUDOOR. Er ist als $CSCRATCH verfügbar. Als NVMe-basierte Cache-Schicht über JUST bietet es einen schnelleren Zugriff auf die im SCRATCH-Dateisystem gespeicherten Daten. Dieses zusätzliche Speichersubsystem schließt die Lücke zwischen dem GPFS-Dateisystem auf der einen Seite und den Rechensystemen auf der anderen Seite weiter. Datenanalyse und E/A-intensive Anwendungen, insbesondere leseintensive KI-Workloads, können von der Auslagerung von Daten auf eine schnellere Speicherebene stark profitieren.
Um eine hohe Bandbreite und niedrige Latenzzeiten zu erreichen, ist der HPST direkt in die InfiniBand-Fabric aller drei Hauptsysteme - JUWELS, JURECA und JUSUF - integriert und ermöglicht eine Spitzenbandbreite von bis zu 2 TB/s. Um den Aufwand für Anwendungen zur Nutzung des Systems zu minimieren, kann auf die zugrunde liegenden 2 PB SSD-Speicherplatz direkt über POSIX zugegriffen werden. Für maximale Leistung empfehlen wir jedoch die Verwendung der ParaStationMPI MPI-IO oder der nativen IME-Schnittstelle.
Bevor sie ihre jeweiligen Aufträge auf einem Rechensystem starten, können die Benutzer die verfügbaren IME-Tools verwenden, um Daten aus dem Back-End-SCRATCH-Dateisystem ins HPST zu übertragen und sie dann nach Abschluss des Auftrags wieder zu synchronisieren. Mit dieser Strategie haben einige Anwendungen eine bis zu 5-fache Verringerung der I/O-Zeit während der Auftragsausführung festgestellt. Das Support-Team prüft das I/O-Muster von Anwendungen, die Zugriff auf die HPST anfordern, um den Gesamtnutzen des Systems zu maximieren. Den jeweiligen Kandidaten wird ein Kontingent auf dem HPST zugewiesen; wenn dieses Kontingent überschritten wird, werden die Daten automatisch entfernt, so dass eine parallele Nutzung durch mehrere Anwendungen möglich ist, ohne dass es zu Störungen zwischen den Benutzer:innen kommt. Das HPST-System wurde von HPE und DDN geliefert und läuft mit der Infinite Memory Engine (IME) von DDN. Die Beschaffung ist Teil der Fenix e-Infrastruktur im Rahmen des EU-Projekts ICEI.
Ansprechpartner: Dr. Salem El Sayed Mohammed
aus JSC News No. 288, 29. April 2022
Weitere Informationen zu den verwendeten Cookies und wie Sie Ihre Einwilligung später jederzeit wiederrufen können finden Sie in unserer Datenschutzerklärung.