Künstliche Intelligenz auf dem Supercomputer

Große Sprachmodelle, trainiert auf offenen Daten. Die Kombination aus KI und geballter Rechenpower bringt den entscheidenden Fortschritt.

Eine Anwendung, die von JUPITER mit seinen Nvidia-GPUs profitieren kann, ist das maschinelle Lernen. Gerade die generative KI, die zum Beispiel Bilder und Texte erzeugt, hat in den vergangenen Jahren mit Sprachprogrammen wie ChatGPT eindrücklich bewiesen, dass diese Algorithmen menschlicher Sprache verblüffend nahekommen.

Große Sprachmodelle werden mit einer Unzahl von Texten trainiert. Dabei erschließen sie sich selbst, mit welcher Wahrscheinlichkeit ein Wort auf ein anderes folgt – um damit selbst Wort für Wort einen sinnvollen Satz bilden zu können. Das Modell muss sich also riesige Datenmengen an sprachlichen Bausteinen und ihrer Verbindung zueinander merken.

„Zu einem Sprung in der Qualität dieser Sprachmodelle kam es erst, als sie mit vielen Parametern auf gewaltigen Datenmengen trainiert wurden. Und das war nur möglich, weil dafür Hochleistungsrechner benutzt wurden“, erklärt Chelsea Maria John (JSC). In einem Team mit Fokus auf Algorithmen und Methoden für Rechenbeschleuniger, hierzu gehören beispielsweise die JUPITER GPUs von Nvidia, beschäftigt sie sich mit der Schnittstelle von KI und Superrechnern.

Ihr Hauptaugenmerk liegt auf einem Open-Source-Sprachmodell, das sie im OpenGPT-X-Projekt mitentwickelt: „Dahinter steht ein deutscher Verbund aus zehn Projektpartnern. Die kommen aus der Forschung, aber auch aus der Industrie und den Medien. OpenGPT-X-Modelle sollen verschiedene europäische Sprachen beherrschen, aber vor allem Deutsch.“ Die Software zum Trainieren solcher Large Language Models soll auch auf JUPITER laufen. Dessen Prozessoren sind für KI maßgeschneidert. „Dadurch lassen sich große Sprachmodelle sehr viel schneller und effizienter trainieren. Wir müssen allerdings auch dafür sorgen, dass die Aufgaben gleichmäßig auf alle Prozessoren verteilt werden“, sagt John. „Eine weitere Herausforderung wird sein, den Energieverbrauch zu minimieren. Denn das Trainierenvon Sprachmodellen verschlingt sehr viel Strom.“

Chelsea Maria John braucht die Rechenpower von JUPITER, um Open-Source- Sprachmodelle zu entwickeln.

Auch aus diesem Grund wurde JUPITER als besonders energieeffizient konzipiert. JEDI, der erste bereits fertiggestellte Baustein von JUPITER, führt die Green500-Liste der energieeffizientesten Supercomputer an. Er schafft 72 Milliarden Rechenoperationen pro Sekunde pro Watt. Der vorherige Spitzenreiter kam im Vergleich dazu auf rund 65 Milliarden. Vor allem die effizient arbeitenden Nvidia-Superchips haben daran einen Anteil. Aber auch die Energieversorgung mit Ökostrom und die Warmwasserkühlung tragen langfristig dazubei. Denn diese Art der Kühlung benötigt weniger Energie als eine herkömmliche Luftkühlung. Die Abwärme wird zur weiteren Verwendung ausgekoppelt, beispielsweise zum Heizen auf dem Geländedes Forschungszentrums.

Die 24.000 GPUs des JUPITER Boostermoduls sind darauf ausgelegt, dass sie Daten hochgradig parallel verarbeiten. Klassische Prozessoren (CPUs) dagegen können besonders gut komplexe Berechnungen sehr schnell hintereinander abarbeiten. Dafür besitzen sie wenige, aber leistungsstarke Rechenkerne. GPUs hingegen verfügen über mehr Rechenkerne, die zwar nicht ganz so rechenstark sind, dafür aber Hand in Hand gleichzeitig arbeiten. Durch dieses parallele Rechnen führen sie die relativ einfachen Einzeloperationen, die zum Beispiel für die KI angestellt werden, schneller durch als klassische Prozessoren.

Text: Arndt Reuning

Weitere Anwendungsmöglichkeiten von Jupiter

Von der Wettervorhersage zur Klimasimulation

Sabine Grießbach möchte mit JUPITER detaillierte Klimaprognosen erstellen.

Quantencomputer, simuliert auf dem Supercomputer

Dennis Willsch blickt mit dem Supercomputer in die Welt der Quanten und simuliert universale Quantencomputer.

Wasserstoffturbinen und Windparks

Mathis Bode kann mit JUPITER schneller und genauer komplizierte Strömungsphänomene berechnen – das ist für viele Bereiche der Energieversorgung relevant.