Künstliche Intelligenz auf dem Supercomputer
Chelsea Maria John braucht die Rechenpower von JUPITER, um Open-Source- Sprachmodelle zu entwickeln.
Gehirnzellen, im Elektronenhirn simuliert
Große Sprachmodelle arbeiten mit künstlichen neuronalen Netzwerken, die von der Arbeitsweise des Gehirns inspiriert sind. Mit deren natürlichen Vorbildern beschäftigt sich Dr. Thorsten Hater (JSC): mit Nervenzellen, die im menschlichen Denkapparat miteinander kommunizieren. Er möchte den Exascale-Rechner JUPITER nutzen, um das Verhalten einzelner Neuronen noch realistischer zu simulieren.
Viele Modelle behandeln eine Nervenzelle nur als Punkt, der mit anderen Punkten in Verbindung steht. Über diese Verbindungen laufen die Spikes, die elektrischen Signale. „Das ist natürlich stark vereinfacht“, sagt Hater. „In unserem Modell besitzen die Neuronen eine räumliche Ausdehnung, wie in der Realität. So lassen sich viele Vorgänge auf molekularer Ebene detailliert beschreiben: Wir können das elektrische Feld entlang der gesamten Zelle berechnen. Und damit zeigen, wie die Reizweiterleitung an einem einzelnen Neuron variiert. Wir erhalten ein sehr viel realistischeres Bild dieser Prozesse.“
Für die Simulation benutzt Hater ein Programm namens Arbor. Damit lassen sich mehr als zwei Millionen einzelne Zellen rechnerisch miteinander verschalten. Nützlich sind solche Modelle von natürlichen neuronalen Netzwerken zum Beispiel für die Entwicklung von Medikamenten gegen neurodegenerative Erkrankungen wie Alzheimer. Die Veränderungen, die dabei an den Nervenzellen im Gehirn stattfinden, möchte der Physiker und Softwareentwickler auf dem Exascale-Rechner simulieren und untersuchen. Ganz andere Veränderungen steuern Vorgänge des Lernens und Vergessens.
Auch diese möchte Hater mit Simulationen besser verstehen: „Das Faszinierende an unserem Gehirn ist, dass es kein statisches Gebilde ist. Die Idee, dass wir es simulieren können als ein Netzwerk mit einer fixen Konnektivität, ist daher falsch. Unser Gehirn ist plastisch, das heißt, es verändert sich binnen Minuten, Stunden oder sogar Tagen, indem es beispielsweise Verbindungen zwischen Nervenzellen stärkt oder schwächt. Und genau diese Prozesse wollen wir künftig im Rechner nachstellen.“
Die Simulations-Software Arbor ist auf die Hardware des JUPITER-Boostermoduls bereits angepasst. Die Nvidia GH200 Superchips stellen eine Kombination aus CPU und GPU dar, ein sogenanntes System-on-a-Chip. In dieser Form arbeiten die beiden Prozessortypen besonders effizient zusammen, weil sie auch räumlich eng aneinandergekoppelt sind. Das äußert sich in einer hohen Bandbreite und damit in einem schnellen Datenfluss.
Weitere Anwendungsmöglichkeiten von Jupiter
Text: Arndt Reuning
Letzte Änderung: 17.12.2024