Neues EuroHPC JU-Projekt ADMIRE

Exascale wird als großer Durchbruch in der Datenverarbeitung angesehen, der den Weg für Spitzenleistungen in Wissenschaft und Technik, maschinellem Lernen und künstlicher Intelligenz ebnen wird. Seine Verwirklichung bringt eine Reihe von Herausforderungen mit sich, insbesondere bei der Verarbeitung und Verwaltung extrem großer Datensätze. Die bisherigen flachen Speichersysteme auf klassischen HPC-Architekturen sind nicht mehr in der Lage, die neuen datenintensiven Rechenanforderungen der Anwendungen zu erfüllen. Deshalb wurden hierarchische Speichersysteme entwickelt, um ein Gleichgewicht zwischen Rechen- und Speicherleistung zu schaffen. Es besteht jedoch immer noch Bedarf an geeigneten Softwareschnittstellen, mit denen diese HPC-I/O-Architekturen genutzt werden können. In diesem Bereich wird das ADMIRE-Projekt (Adaptive Multi-tier Intelligent Data Manager for Exascale) eine Schlüsselrolle spielen, indem es einen aktiven I/O-Stack entwickelt, der alle Schichten des HPC-I/O ausnutzt. Erreicht wird dies durch die Implementierung eines intelligenten globalen Koordinierungsmechanismus, die Anpassungsfähigkeit von Berechnungen und I/O und die integrierte Planung von Speicherressourcen. Es wird ein operationeller softwaredefinierter Rahmen entwickelt, der auf skalierbarer Überwachung und Steuerung basiert, mit abgestimmten Steuerungs- und Datenpfaden sowie eingebetteten Kontrollpunkten, die die Systemkomponenten und Anwendungen orchestrieren. Das geplante Framework wird von den Projektpartnern gemeinsam mit mehreren Anwendungsfällen aus verschiedenen wissenschaftlichen Bereichen entwickelt, darunter Klima/Wetter, Biowissenschaften, Fernerkundung, Software-Heritage und Deep Learning.

ADMIRE wird von der Universidad Carlos III de Madrid (Spanien) koordiniert. JSC wird zu den Arbeitspaketen "Application Co-Design" (WP7), "Intelligent Controller" (WP6) und "Dissemination and Exploitation" (WP8) beitragen. JSC ist der federführende Partner für das Arbeitspaket 7, das eine verbesserte Version der bestehenden Anwendungen auf der Grundlage der während der Projektlaufzeit entwickelten Co-Design-Methode erstellen wird. ADMIRE wird durch das EuroHPC Joint Undertaking finanziert und vom deutschen Bundesministerium für Bildung und Forschung (BMBF) kofinanziert. Das Projekt begann offiziell am 1. April 2021 und hat eine Laufzeit von drei Jahren.

Ansprechpartner: Dr. Shahbaz Memon

aus JSC News No. 283, 24. September 2021