Neues Embed2Scale-Projekt: Föderation von Erdbeobachtungs- und Wetterdaten unter Einbeziehung von KI
Am 15. Januar 2024 hat das Kickoff-Treffen des EU-Projekts Embed2Scale bei EUSPA, der Agentur der Europäischen Union für das Weltraumprogramm, in Prag stattgefunden. Dieses Projekt wird von MARTEL INNOVATE BV koordiniert und umfasst zehn Partner, darunter auch das Jülich Supercomputing Center. Das wahre Potenzial des Copernicus-Programms der Europäischen Union zur Erdbeobachtung entfaltet sich, wenn es mit zusätzlichen Geoinformationen wie Wettermodellen und GNSS-Daten verbunden wird. Die Verwaltung von Hunderten von Petabytes an Geodaten ist jedoch eine Herausforderung, da keine einzige Plattform alle Daten speichern kann. Anbieter laden die Daten daher oft aus mehreren Archiven herunter, aber die riesige Datenmenge macht einige Anwendungen nicht umsetzbar.
Embed2Scale will diese Herausforderungen angehen, indem es effizienten Datenaustausch durch KI-gesteuerte Datenkompression erleichtert. Es wird Methoden entwickeln, um originale Geoinformationen in hochkomprimierte Embeddings umzuwandeln, wodurch die Datengröße um das bis zu 1000-fache reduziert werden kann. Zu den erhofften Durchbrüchen gehören die Ermöglichung dezentraler Anwendungen durch eine erhebliche Reduktion des Datenvolumens, die Verbesserung der Portabilität von Geodatenanalysen durch eine Verringerung des benötigten Rechenaufwands, die Minimierung der Datenbeschriftungen durch „few-shot learning“ und die Ermöglichung von Abfragen von Erdbeobachtungs- und Klimadaten im Petabyte-Bereich nahezu in Echtzeit. Es ist geplant, diese Fortschritte mit praktischen Anwendungen im Copernicus-Programm zu demonstrieren und Community-Wachstum durch Open-Source-Beiträge und Standardisierung zu fördern. Die Einbettungstechnologie wird in vier Bereichen getestet: Meeresüberwachung, Messung der oberirdischen Biomasse, Klima- und Luftverschmutzungsvorhersage sowie Früherkennung von Pflanzenstress und Ernteerträgen.
Weitere Informationen sind auf der Projektwebseite zu finden.