JSC tritt dem neuen Trillion Parameter Consortium bei
Das JSC ist Mitglied des neuen internationalen Trillion Parameter Consortium (TPC; zu deutsch „Billionen-Parameter-Konsortium“), das von US-Bundeslabors, Forschungsinstituten, akademischen- und Industriepartnern gegründet wurde, um vertrauenswürdige und zuverlässige großskalige KI-Modelle für die Wissenschaft zu entwickeln. Das TPC hat sich zum Ziel gesetzt, die wichtigsten Herausforderungen bei der Weiterentwicklung der KI für die Wissenschaft anzugehen. Dazu gehören die Entwicklung skalierbarer Modellarchitekturen und Trainingsstrategien, die Organisation und Kuratierung wissenschaftlicher Daten für Trainingsmodelle, die Optimierung von KI-Bibliotheken für aktuelle und künftige Exascale-Supercomputer und die Entwicklung von Plattformen zur Bewertung der Fortschritte beim Lernen wissenschaftlicher Aufgaben sowie bei Zuverlässigkeit und Vertrauen.
Das TPC befasst sich mit drei Aspekten, die mit der Komplexität des Aufbaus groß angelegter KI-Modelle zusammenhängen: Identifizierung und Aufbereitung hochwertiger Trainingsdaten aus verschiedenen wissenschaftlichen Bereichen und Datenquellen; Entwurf und Bewertung von Modellarchitekturen, Leistung, Training und nachgelagerten Anwendungen; und die Entwicklung bereichsübergreifender und grundlegender Fähigkeiten, wie z. B. Innovationen bei Modellbewertungsstrategien im Hinblick auf Verzerrungen, Vertrauenswürdigkeit und Zielausrichtung. Die Initiative soll der Gemeinschaft einen Rahmen bieten, in dem mehrere große Modellbildungsinitiativen flexibel zusammenarbeiten können, um die globalen Bemühungen zu nutzen und die unterschiedlichen Ziele der einzelnen Initiativen zu berücksichtigen.
Billionen-Parameter-Modelle stellen die Grenze der KI im großen Maßstab dar, wobei nur die größten kommerziellen KI-Systeme derzeit an diese Größenordnung heranreichen. Selbst mit den in Aussicht stehenden Exascale-Systemen wird das Training eines hochmodernen Modells mit einer Billion Parametern Monate an Zeit in Anspruch nehmen. Solche Anstrengungen werden daher große, multidisziplinäre und institutionenübergreifende Teams erfordern. TPC soll die Zusammenarbeit und Kooperation zwischen und innerhalb solcher Teams unterstützen. Durch den Beitritt zu dieser Initiative beteiligt sich das JSC weiterhin erfolgreich an starken interdisziplinären Gemeinschaften wie LAION, die die Grenzen der Forschung an großen offenen Basismodellen und Datensätzen verschieben, um reproduzierbare und transparente Forschung im Bereich des maschinellen Lernens in großem Maßstab zu ermöglichen, und unterstützt diese.
Weitere Informationen sind der TPC Pressemitteilung zu entnehmen.
Kontakt: Dr. Jenia Jitsev
aus JSC News No. 300, 12 Dezember 2023