JuZEA-1
Moderne numerische Simulationen in der Entwicklung von Instrumenten und Verfahren für die Wissenschaft
Bei der Entwicklung neuer Instrumente und Verfahren für die Wissenschaft werden oft die Grenzen des Machbaren erreicht. Dies erfordert eine sorgfältige Auslegung und Optimierung von Bauteilen, die im späteren Betrieb extremen Lasten ausgesetzt sind, und Prozessen, die entscheidend für den Erfolg des späteren wissenschaftlichen Experimentes sind. Anhand von modernen Simulationsmethoden können im Vorfeld Konzepte bewertet, wichtige Einflussfaktoren bestimmt und frühzeitig Entwicklungsfehler oder Schwachstellen entdeckt werden. Je detaillierter die Simulationsmodelle sind, umso genauer sind die Ergebnisse, die die Experten des ITE durch die Berechnungen erhalten. Jedoch sind für die Berechnung großer Simulationsmodelle geeignete Computer-Ressourcen notwendig. Wichtig ist in diesem Zusammenhang zum einen ein ausreichender Hauptspeicher, um die Simulationen überhaupt starten zu können und zeitraubendes Auslagern von Daten auf Festplatten zu verhindern, zum anderen ist aber auch eine große Zahl von schnell vernetzen Prozessoren entscheidend für den in einem akzeptablen Zeitraum berechenbaren Detaillierungsgrad der Simulationsmodelle.

Fortführung der erfolgreichen Kooperation mit dem JSC
Vor 2013 wurden Berechnungen im ITE ausschließlich auf einem eigenen Cluster des Teams „Simulation und Berechnung“ durchgeführt. Damalige Supercomputer im Jülich Supercomputing Center (JSC), wie JuQUEEN oder JuROPA2, hatten zu diesem Zeitpunkt noch zwei entscheidende Nachteile für die Experten des ITE: sie boten zum einen nicht den benötigten Hauptspeicher pro Rechenknoten für aufwändige Simulationen und zum anderen waren die zur Verfügung stehenden Laufzeiten für einzelne Berechnungen zu stark begrenzt, so dass teilweise Berechnungen nach Erreichen der maximalen Laufzeit ohne Ergebnisse abgebrochen wurden. Für die Nutzungsszenarien des ITE mit den vorhandenen Simulationsprogrammen waren die Supercomputer daher nicht geeignet.
Da der Ausbau des eigenen Clusters aufgrund der Anforderungen an die Räumlichkeiten und die Kühlung sowie dem vergleichsweise hohen Betreuungsaufwand für das ITE nicht in Betracht kam, wurde 2013 in Kooperation mit dem JSC die gemeinsame Anschaffung und der Betrieb eines maßgeschneiderten Clusters für das ITE geplant. Zu diesem Zeitpunkt wurde seitens des JSC ein flexibles Test-Cluster namens JuROPA3 konfiguriert, an dem sich das ITE mit seinen speziellen Anforderungen an die Hardware beteiligen konnte. Die Kooperation mit dem JSC war für beide Seiten sehr erfolgreich und die Bedarfe und Anforderungen des ITE wurden zur vollsten Zufriedenheit abgedeckt. Auch das JSC konnte sich durch die Kooperation neue Anwendungen erschließen. Daher wurde vor Ablauf der Betriebslaufzeit des JuROPA3 Ende 2018 die Fortführung der Zusammenarbeit beschlossen und die Anschaffung eines neuen Clusters für das ITE in die Wege geleitet. Nach einer kurzen Testphase wurde das neue System JuZEA-1 im Dezember 2018 seitens des JSC in Betrieb genommen und der JuROPA3 abgeschaltet. Mit dem JuZEA-1 steht den Berechnungsingenieure des ITE nun ein System zur Verfügung, das gegenüber dem Vorgängersystem etwa doppelt so viele Rechenkerne und doppelten Hauptspeicher aufweist und das somit die Produktivität des Teams deutlich steigert.
Berechnungsmodell zu dem Instrument GLORIA – dargestellt sind Verformungen aufgrund einer angeregten Schwingung

Die Abbildung zeigt ein Berechnungsergebnis zu dem Instrument GLORIA für die Atmosphärenforschung, welches unter anderem auf dem Forschungsflugzeug HALO eingesetzt wird und während des Fluges erheblichen Vibrationen ausgesetzt ist. Zum Nachweis der ausreichenden Festigkeit, insbesondere hinsichtlich der Rissbildung durch die Schwingungen des Instrumentes, ist eine genaue Kenntnis der Eigenfrequenzen, der durch die Anregungen während des Fluges bedingten Schwingungsamplituden sowie der daraus resultierenden Spannungsschwankungen im Bauteil notwendig. Die Berechnungen zu dem komplexen Gesamtmodell waren auf dem alten Cluster aufgrund des unzureichenden Hauptspeichers nur bedingt möglich und dauerten infolge des ständigen Auslagerns von Daten auf die Festplatten mehrere Tage. Auf dem JuZEA-1 konnten die Schwingungsberechnungen hingegen in nur wenigen Stunden durchgeführt werden.
Technische Daten des JuZEA-1
10 Knoten mit jeweils 48 Kernen
100 Gbit/s InfiniBand-Netzwerk
4608 GByte Haupspeicher
43,2 TByte interne Platten für Scratch-Daten
Betriebssystem: CentOS Linux 7.4
Cluster-Steuerung: Parastation Middleware mit Batch-System SLURM
Installierte Simulationssoftware: ANSYS, CFX, Fluent, LS-DYNA
Separate Frontend- und Service-Knoten