Datenprojekte am JSC
Die Migration auf das neue Nutzungsmodell am JSC im Dezember 2018 hat eine Trennung von Rechenzeit- und Datenprojekten eingeleitet. Datenprojekte umfassen eine Reihe von Datenressourcen, die sich auf bestimmten Dateisystemen am JSC befinden und jeweils ihre ganz eigenen Eigenschaften in Bezug auf Bandbreite, Kapazität und Aufbewahrungszeit aufweisen. Sie ermöglichen es, Projektdaten über den Rahmen eines Rechenzeitprojekts hinaus zu verwalten. Dieser Ansatz gestattet unter anderem die Verlängerung von Datenressourcen über eine Reihe von Rechenzeitprojekten hinweg.
Zunächst wurde jedem laufenden Rechenzeitprojekt ein Datenprojekt mit seinen vorhandenen Datenressourcen und einer an die des Rechenzeitprojekts angepassten Dauer gewährt. Künftig müssen Projektleiter neben ihren Rechenzeitprojekten auch Datenprojekte beantragen, um ihre vorhandenen Datenbestände beizubehalten.
Im Rahmen eines Datenprojektes stehen vier Dateisysteme zur Verfügung: ARCHIVE, DATA, FASTDATA und USERSOFTWARE. Das ARCHIVE-Dateisystem bietet eine hohe Kapazität für die Langzeitspeicherung auf Kosten höherer Latenzen beim Abruf von Daten. Das neu eingeführte DATA-Dateisystem wurde für eine große Kapazität bei angemessener Leistung entwickelt. Die Hauptnutzungsgebiete sind der Datenaustausch zwischen Projekten, die mittelfristige Datenspeicherung und die Bereitstellung von Daten für die OpenStack-basierte Cloud-Umgebung des JSC, die community-spezifische Dienste auf Basis von Community-Daten ermöglicht. Es ist anzumerken, dass das DATA-Dateisystem auf den Rechenknoten der HPC-Systeme nicht verfügbar ist, so dass die Daten extra bereit gestellt werden müssen, um sie in Rechenaufträgen zu nutzen. FASTDATA ist für mehrere Projekte mit größerem Volumen vorgesehen, die keine Datenbereitstellung vor der Ausführung von Aufträgen auf den HPC-Systemen der JSC verwenden können, z.B. weil sie den größten Teil ihres gesamten Datensatzes für jeden Job verwenden. USERSOFTWARE ist ein Dateisystem, das dazu bestimmt ist, Softwareinstallationen zwischen mehreren Projekten zu teilen. Andere Dateisysteme, wie PROJECT und SCRATCH, stehen ausschließlich für Rechenzeitprojekte zur Verfügung und sind nicht Teil bei einer Bewilligung eines Datenprojekts.
Die erste Runde der Bewerbungen für Datenprojekte führte zu ca. 50 Projekten, die insgesamt ca. 15 PB Speicherplatz auf ARCHIVE, 10 PB auf DATA und 10 PB auf FASTDATA anforderten. Diese Projekte sind nun abgeschlossen und die Anwender sammeln erste Erfahrungen mit dem neuen Angebot am JSC. Ab dem 1. Mai 2019 können sich die Nutzer im Rahmen einer rollierenden Ausschreibung für Datenprojekte bewerben.
Ansprechpartner: Björn Hagemeier, b.hagemeier@fz-juelich.de
aus JSC News No. 265, 21. Mai 2019