TrustLLM-Projekt ist gestartet

Das EU-Projekt TrustLLM ist am 20. und 21. November offiziell gestartet. In den nächsten drei Jahren wird das Projekt eine neue Generation von großen Sprachmodellen (large language models, LLM) mit verbesserter Zugänglichkeit und Zuverlässigkeit schaffen und negative Effekte wie Halluzinationen und Verzerrungen abmildern. Das Konsortium hat seinen Schwerpunkt in Nordeuropa. So ist beispielsweise AI Sweden mit Sitz in Stockholm ein Projektpartner, der das LLM GPT-SWE entwickelt hat, das bisher stärkste Modell in schwedischer Sprache. Das Unternehmen Mi∂eind hat mit OpenAI zusammengearbeitet, um die Kapazität seiner Modelle in Isländisch zu verbessern, einer Sprache mit nur etwa 300.000 Sprechern, für die das Internet mit minderwertigen automatischen Übersetzungen überschwemmt wird.

Im Rahmen des Projekts wird das JSC eine zweifache Rolle einnehmen: Zum einen werden die HPC-Experten dafür sorgen, dass das ressourcenintensive GPU-basierte LLM-Training auf allen Systemen mit optimaler Effizienz abläuft. Zum anderen wird das Team des Simulation and Data Lab Applied Machine Learning an neuen Funktionen von LLMs zur Verarbeitung längerer Eingaben arbeiten, Methoden zur Verringerung der Parameteranzahl entwickeln und an Skalierungsgesetzen arbeiten, die Vorhersagen der LLM-Leistung ermöglichen, ohne dass diese zuvor überhaupt trainiert werden müssen.

Weitere Informationen finden Sie auf der Webseite der Universität Linköping, die das Projekt koordiniert.

Kontakt: Dr. Stefan Kesselheim

aus JSC News No. 300, 12 Dezember 2023