HPST geht in Produktion

Das High Performance Storage Tier (HPST) hat die vollständige Produktion aufgenommen und eröffnet den Zugang zu weiteren Projekten über JUDOOR. Er ist als $CSCRATCH verfügbar. Als NVMe-basierte Cache-Schicht über JUST bietet es einen schnelleren Zugriff auf die im SCRATCH-Dateisystem gespeicherten Daten. Dieses zusätzliche Speichersubsystem schließt die Lücke zwischen dem GPFS-Dateisystem auf der einen Seite und den Rechensystemen auf der anderen Seite weiter. Datenanalyse und E/A-intensive Anwendungen, insbesondere leseintensive KI-Workloads, können von der Auslagerung von Daten auf eine schnellere Speicherebene stark profitieren.

Um eine hohe Bandbreite und niedrige Latenzzeiten zu erreichen, ist der HPST direkt in die InfiniBand-Fabric aller drei Hauptsysteme - JUWELS, JURECA und JUSUF - integriert und ermöglicht eine Spitzenbandbreite von bis zu 2 TB/s. Um den Aufwand für Anwendungen zur Nutzung des Systems zu minimieren, kann auf die zugrunde liegenden 2 PB SSD-Speicherplatz direkt über POSIX zugegriffen werden. Für maximale Leistung empfehlen wir jedoch die Verwendung der ParaStationMPI MPI-IO oder der nativen IME-Schnittstelle.

Bevor sie ihre jeweiligen Aufträge auf einem Rechensystem starten, können die Benutzer die verfügbaren IME-Tools verwenden, um Daten aus dem Back-End-SCRATCH-Dateisystem ins HPST zu übertragen und sie dann nach Abschluss des Auftrags wieder zu synchronisieren. Mit dieser Strategie haben einige Anwendungen eine bis zu 5-fache Verringerung der I/O-Zeit während der Auftragsausführung festgestellt. Das Support-Team prüft das I/O-Muster von Anwendungen, die Zugriff auf die HPST anfordern, um den Gesamtnutzen des Systems zu maximieren. Den jeweiligen Kandidaten wird ein Kontingent auf dem HPST zugewiesen; wenn dieses Kontingent überschritten wird, werden die Daten automatisch entfernt, so dass eine parallele Nutzung durch mehrere Anwendungen möglich ist, ohne dass es zu Störungen zwischen den Benutzer:innen kommt. Das HPST-System wurde von HPE und DDN geliefert und läuft mit der Infinite Memory Engine (IME) von DDN. Die Beschaffung ist Teil der Fenix e-Infrastruktur im Rahmen des EU-Projekts ICEI.

Ansprechpartner: Dr. Salem El Sayed Mohammed

aus JSC News No. 288, 29. April 2022