OpenGPT-X: JUWELS Booster trainiert große europäische Sprachmodelle
Mit dem Projekt OpenGPT-X beteiligt sich das JSC an einem der spannendsten europäischen Vorhaben im Bereich des maschinellen Lernens: der Erstellung eines groß angelegten Sprachmodells, das nicht nur Englisch, sondern alle wichtigen europäischen Sprachen spricht. Das Projektkonsortium aus 10 Organisationen aus Wissenschaft, Industrie und Medien wurde vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) mit 15 Millionen Euro für drei Jahre gefördert. Das Projekt zielt darauf ab, große Sprachmodelle auf dem gesamten Weg von der Erstellung bis zur Anwendung mit Hilfe von Open-Source-Technologien zu erstellen und die Ergebnisse als solche zu veröffentlichen. OpenGPT-X ist ein Gaia-X-Projekt, das die von ihm entwickelten Dienste innerhalb der föderierten Gaia-X-Infrastruktur bereitstellen will.
Große Sprachmodelle haben ein aufregendes Potenzial. Sie sind in der Lage, Texte in einer Qualität zu verarbeiten und zu generieren, die noch vor zwei Jahren undenkbar gewesen wäre. Die OpenGPT-X-Partner möchten diese Modelle für verschiedene reale Szenarien nutzen. So will die Rundfunkanstalt WDR ihre Audiothek durch hilfreiche Zusammenfassungen zugänglicher machen und automatisch personalisierte Nachrichtenbeiträge generieren. Das Unternehmen ControlExpert wiederum will die Schadenbearbeitung in der Kfz-Versicherung automatisieren.
Das JSC wird vor allem durch das Training des grundlegenden Sprachmodells zum Fundament des Projekts beitragen. Die schiere Größe dieser rechenintensiven Aufgabe ist beeindruckend, selbst für die größten Computer. OpenAI nutzte einen 10.000-GPU-Cluster zwei Wochen lang, um GPT-3 zu trainieren, das Modell, das als Blaupause für das Projekt dient. Unsere Kollegen und Kolleginnen am JSC werden die vielen Facetten des Trainingsverfahrens optimieren, um den JUWELS Booster, eine der derzeit am besten für solche Aufgaben geeigneten Maschinen der Welt, bestmöglich zu nutzen. Darüber hinaus bietet uns das Projekt die Möglichkeit, spannende, neuartige KI-Beschleunigerhardware zu evaluieren.
Kontakt: Dr. Andreas Herten, Dr. Stefan Kesselheim
aus JSC News No. 287, 21. März 2022
