Helmholtz-ELLIS-Workshop: Foundation Models und generative KI verändern die wissenschaftliche Forschung in allen Disziplinen

Foundation Models in der Wissenschaft: ESDE-Forschungsgruppe des JSC nimmt an Helmholtz-ELLIS Workshop teil

Am 18. und 19. März fand in Berlin der Helmholtz-ELLIS Workshop Foundation Models in Science statt. Er bot den Mitgliedern der Forschungsgruppe Earth System Data Exploration (ESDE) des JSC und ihren Partnern in der Helmholtz-Initiative Foundation Models eine hervorragende Gelegenheit, sich an der Schnittstelle von maschinellem Lernen und wissenschaftlicher Forschung mit Pionieren aus verschiedenen Disziplinen auszutauschen. Die Helmholtz-Initiative spielt hier eine zentrale Rolle, da sie das Potenzial dieses neu entstehenden Bereichs durch sieben interdisziplinäre Pilotprojekte fördert.

Der Workshop machte deutlich: Foundation Models sind kein Nischenthema mehr. Von großen Sprachmodellen und multimodalen Systemen bis hin zu domänenspezifischen Anwendungen gewinnen sie fortlaufend an Einfluss. Der erste Workshoptag befasste sich mit technischen Fortschritten, während der zweite Workshoptag Anwendungen in Physik, Biologie, Astronomie und Materialwissenschaften in den Mittelpunkt stellte. Mit Beiträgen unter anderem von Microsoft Research, der Simons Foundation, der ETH Zürich, Meta AI und dem Alan Turing Institute bot die Veranstaltung einen breiten und gleichzeitig tiefen Einblick in dieses sich schnell entwickelnde Feld.

Zentrale Erkenntnisse

Einige Themen nahm das ESDE-Team als besonders wichtig wahr: Die dringende Notwendigkeit besserer Evaluierungsstandards, die anhaltende Herausforderung von Verzerrungen in wissenschaftlichen Datensätzen und die Frage, inwieweit Foundation Models über ihre Trainingsdaten hinaus verallgemeinern können. Als ebenfalls bedeutsam wurde eingeschätzt, dass der Workshop die intensive Zusammenarbeit zwischen Experten für maschinelles Lernen und Wissenschaftlern mit tiefgreifenden Fachkenntnissen hervorhob. Mit all diesen Themen setzt sich das ESDE-Team selbst regelmäßig in seiner Strategie auseinander. Der Workshop zeigte erneut, wie wichtig sie für den Fortschritt in diesem Bereich sind.

Wissenschaftliche Impulse: Proteinfaltung, Entdeckung neuer Materialien und mehr

Die ESDE-Teammitglieder Ankit Patnala (JSC), Savvas Melidonis (JSC) und Sindhu Vasireddy (JSC) zeigten sich besonders beeindruckt von der Bandbreite der Anwendungsmöglichkeiten. Vorträge über Proteinmodellierung und Wirkstoffforschung zeigten auf, wie generative Modelle komplexe molekulare Dynamiken simulieren und so die Entwicklung von Therapien beschleunigen können. In der Materialwissenschaft werden Foundation Models verwendet, um neue Materialien mit Eigenschaften wie Supraleitfähigkeit oder Hitzebeständigkeit zu identifizieren – eine spannende Perspektive für die Bereiche nachhaltige Energie und Elektronik.

Ein wiederkehrendes Thema war die Fähigkeit der Modelle, verschiedene Maßstäbe miteinander zu verbinden – feine Details zu erfassen und gleichzeitig das Gesamtbild im Blick zu behalten. In der Astrophysik beispielsweise wird KI zu einer universellen Linse: leistungsstark genug, um Strukturen in riesigen Datensätzen aufzudecken, und flexibel genug, um Unbekanntes zu verstehen.

Podiumsdiskussion: Schnell, leistungsstark – aber wie messen wir Fortschritt?

Martin Schultz (JSC), Leiter des ESDE, moderierte eine lebhafte Podiumsdiskussion über die Zukunft von Foundation Models in der Wissenschaft. Zu den Podiumsteilnehmern gehörten Michael Gastegger und Tian Xe (Microsoft Research AI4Science), Anna Scaife (Universität Manchester) und Sarath Chandar (MILA – Quebec AI Institute). Gemeinsam diskutierten sie, wohin diese Modelle uns führen können – und welche Hürden noch zu überwinden sind.

Eine klare Erkenntnis: KI bietet mehr als nur Geschwindigkeit. Sie eröffnet neue Möglichkeiten in Bereichen, in denen traditionelle Simulationen an ihre Grenzen stoßen – entweder weil die Datenmengen zu groß oder die physikalischen Vorgänge zu komplex sind, um sie explizit zu modellieren. Doch trotz dieser Stärken bleibt es eine Herausforderung, zu definieren, was „gut“ bedeutet. Benchmarks aus dem klassischen maschinellen Lernen greifen oft zu kurz, insbesondere wenn die Modelle während des Trainings mit den Testdaten in Kontakt gekommen sind.

Die Diskussion befasste sich auch mit den wichtigsten Triebkräften des Fortschritts: Sind es Daten, Rechenleistung oder konzeptionelle Innovationen, die dabei die größte Rolle spielen? Auch wenn es keine einfache Antwort darauf gibt, waren sich die meisten Teilnehmer einig, dass der Zugang zu hochwertigen, vielfältigen wissenschaftlichen Daten wahrscheinlich der Schlüssel für künftige Durchbrüche sein wird.

Abschließend befasste sich das Gremium mit einer provokanten Frage: Könnte ein einziges Foundation Model irgendwann alle wissenschaftlichen Bereiche abdecken? Derzeit ist man sich noch uneinig. Aufgabenspezifische Modelle erzielen nach wie vor bessere Ergebnisse, wenn reichlich Daten zur Verfügung stehen. Foundation Models bieten jedoch einzigartige Vorteile in Bezug auf Robustheit und Übertragbarkeit – insbesondere zwischen verwandten Aufgaben. Ob dies zu bereichsübergreifenden Durchbrüchen führen wird, bleibt abzuwarten.

Gemeinsam die Zukunft gestalten

Als Teil der Helmholtz-Gemeinschaft ist das Forschungszentrum Jülich stolz darauf, einen Beitrag zu diesem zukunftsträchtigen Forschungsgebiet zu leisten. Im Rahmen des HClimRep-Projekts der Helmholtz Foundation Model Initiative (HFMI), des vom BMBF geförderten RAINA-Projekts und unseres Beitrags zum EU-finanzierten WeatherGenerator untersuchen wir, wie Foundation Models langfristige Vorhersagen unterstützen und Gesellschaften dabei helfen können, sich auf extreme Wetterereignisse vorzubereiten.

Das ESDE-Team verließ Berlin mit neuem Elan und frischen Ideen – und dem klaren Bewusstsein, Teil einer größeren Bewegung zu sein, um generative KI zu einem Werkzeug für sowohl wissenschaftlichen Fortschritt als auch gesellschaftliche Resilienz zu machen.

Erfahren Sie hier mehr zum Helmholtz-ELLIS-Workshop.