Maschinelles Lernen vs. numerische Wettervorhersage: Wie untergräbt KI das Wettervorhersagemodell?

Die numerische Wettervorhersage ist die gängige Methode der Wettervorhersage. Es löst den Zustand des Erdsystems Gitter für Gitter durch numerische Integration, was ein Prozess deduktiver Argumentation ist.

Da jedoch die Auflösung der Wettervorhersagen immer weiter zunimmt und sich die Vorhersagezeit allmählich verlängert, ist auch die für das NWP-Modell erforderliche Rechenleistung rapide gestiegen, was seine Entwicklung einschränkt. Andererseits entwickelt sich die datengesteuerte Wettervorhersage auf Basis künstlicher Intelligenz rasant und hat in einigen Bereichen die traditionellen Methoden überholt.

Wie genau sind bestehende Wettervorhersagen mithilfe maschinellen Lernens? Wie wird künstliche Intelligenz die Wettervorhersage verändern? Dieser Artikel vergleicht mehrere datengesteuerte, auf maschinellem Lernen basierende Wettervorhersagemodelle und gibt einen Ausblick auf die zukünftige Entwicklung der Wettervorhersage.

Autor | Xuecai

Herausgeber | Sanyang

Numerische Wettervorhersage: 45 Milliarden partielle Differentialgleichungen

Die numerische Wettervorhersage (NWP) ist die gängige Methode im Bereich der Wettervorhersage. Bereits zu Beginn des 20. Jahrhunderts schlugen Abbe und Bjerknes vor, dass Menschen die Gesetze der Physik nutzen könnten, um das Wetter vorherzusagen. Indem sie die aktuellen Wetterbedingungen als Ausgangswert nehmen, können sie das zukünftige Wetter integrieren und berechnen. Allerdings war die meteorologische Forschung zu dieser Zeit noch nicht gründlich genug und das Computerniveau war relativ rückständig, sodass diese Idee nicht verwirklicht werden konnte.

Im Jahr 1950 versuchte die Universität von Plunder, mit dem ersten elektronischen Computer Wettervorhersagen zu erstellen. Im Jahr 1954 wurden in Stockholm erstmals Echtzeit-Wettervorhersagen eingeführt.

Lösen Sie ein System von Differentialgleichungen basierend auf den Gesetzen der Physik in jeder Netzzelle

Erst mit dem Aufkommen der Supercomputer in den 1970er Jahren konnte der gesamte von Abbe und Bjerknes vorgeschlagene Gleichungssatz gelöst werden. Im Jahr 1979 erstellte das Europäische Zentrum für mittelfristige Wettervorhersage (EZMW) die erste mittelfristige Wettervorhersage und eröffnete damit das Kapitel des Integrierten Vorhersagesystems (IFS).

Edward N. Lorenz fasste jedoch die Erfahrungen seiner Vorgänger zusammen und schlug vor, dass das Wettersystem ein chaotisches System ist, das aufgrund geringfügiger Änderungen der Variablen enorme Veränderungen erfährt. Andererseits ist es für die Menschen schwierig, den Ausgangszustand des meteorologischen Systems vollständig zu erfassen. Zu diesem Zweck verwendet die akademische Gemeinschaft Ensemble-Prognosen, um die Unsicherheit der Anfangsparameter und Vorhersagemodelle zu minimieren. Die Sammlung von Vorhersageergebnissen ist die Grundlage der probabilistischen Prognose.

Schematische Darstellung der Ensemble-Vorhersage der Niederschlagswahrscheinlichkeit

Mit der Entwicklung von Technologien wie numerischen Modellen, Supercomputing, Datenassimilation und Ensemblevorhersage wurde die Genauigkeit numerischer Wettervorhersagen kontinuierlich verbessert und die Vorhersagezeit schrittweise von 3 Tagen und 5 Tagen auf 7 Tage oder sogar 10 Tage erhöht.

Die Entwicklung der Wettervorhersagetechnologie im Laufe der Zeit in der nördlichen und südlichen Hemisphäre (SH, NH)

Derzeit erfordert das ECMWF-Vorhersagemodell 10-Tage-Vorhersagen für 2 Millionen Gitterzellen auf jeder horizontalen Ebene mit einem 10-Minuten-Schritt, die zweimal täglich ausgeführt werden. Daher müssen sie die Berechnung von etwa 40 Milliarden Gittern innerhalb von 2,5 Stunden abschließen, was einen sehr hohen Rechenaufwand erfordert.

Der hohe Rechenaufwand hat die Weiterentwicklung numerischer Wettervorhersagemethoden behindert. Die Frage, wie sich ein Gleichgewicht zwischen der Modellauflösung und der Ensemblegröße finden lässt, ist zu einer Hürde geworden, die Ensembleprognosen einschränkt.

Der Aufstieg datengetriebener Machine-Learning-Ansätze

In jüngster Zeit hat datengesteuertes maschinelles Lernen (ML) großes Potenzial in der Wettervorhersage gezeigt. Seit 2022 haben Modelle des maschinellen Lernens im Bereich der Wettervorhersage eine Reihe von Durchbrüchen erzielt, von denen einige mit den hochpräzisen Prognosen des Europäischen Zentrums für mittelfristige Wettervorhersage konkurrieren können. Datenbasierte Wettervorhersagen basieren im Integrated Forecast System (IFS) eher auf maschinellen Lernmodellen als auf physikalischen Modellen. Dadurch lässt sich die Vorhersagegeschwindigkeit im Vergleich zu herkömmlichen Methoden um mehrere Größenordnungen steigern. Darüber hinaus sind Wettervorhersagen auf der Grundlage maschinellen Lernens eher das Ergebnis induktiven Denkens als des traditionellen deduktiven Denkens. Dieser Paradigmenwechsel in der Logik verändert die Art und Weise, wie Wettervorhersagen interpretiert werden – die Ergebnisse werden aus früheren Daten gelernt und sind daher überzeugender.

Datensatz: 0,25° Reanalysedaten von 1940 bis heute

Die Entstehung datengesteuerter Modelle ist auf die umfangreichen, hochwertigen offenen Datensätze in der Meteorologie zurückzuführen. Das vorhandene maschinelle Lernmodell zur Wettervorhersage wird anhand der Reanalysedaten der fünften Generation des Europäischen Zentrums für mittelfristige Wettervorhersage, dem ERA5-Reanalysedatensatz, trainiert. Als die aktuelle Version des Integrated Forecast System (IFS) im Jahr 2016 eingeführt wurde, wurden Wetterdaten von 1940 bis heute erneut analysiert, um den ERA5-Datensatz mit einer Auflösung von 0,25° (30 km) zu erstellen.

FourCastNet: Ein DL-Modell mit vergleichbarer Genauigkeit wie IFS

Im Jahr 2022 veröffentlichte NVIDIA FourCastNet, das die erste Deep-Learning-Wettervorhersage mit einer Auflösung von 0,25° basierend auf dem Fourier-Vorhersage-Neuralnetzwerk durchführte.

FourCastNet-Architekturdiagramm

Während FourCastNet die Auflösung verbessert, bleibt es hinsichtlich des Anomaliekorrelationskoeffizienten (ACC) und des mittleren quadratischen Fehlers (RMSE) nicht weit hinter der traditionellen numerischen Wettervorhersage zurück.

Vergleich von ACC und RMSE zwischen FourCastNet und numerischer Wettervorhersage

In Bezug auf Knotenstunden ist FourCastNet etwa 45.000 Mal schneller als herkömmliche numerische Wettervorhersagemodelle. In Kombination mit seiner Genauigkeit bei hoher Auflösung werden die Kosten für groß angelegte Ensemble-Prognosen deutlich gesenkt.

GraphCast: Globale mittelfristige Wettervorhersage basierend auf GNN

GraphCast ist ein neuronales Netzwerk basierend auf einem Graph Neural Network (GNN) mit einer „Encode-Process-Decode“-Konfiguration und insgesamt 36,7 Millionen Parametern.

Der Encoder ordnet die Variablen im Eingaberaster über ein einschichtiges GNN dem internen Multiraster zu.

Das Multigrid ist eine räumlich homogene Karte mit hoher Auflösung und globaler Abdeckung. Das Mehrfachnetz wird durch 6 Iterationen eines regelmäßigen Ikosaeders (mit 12 Knoten, 20 Flächen und 30 Kanten) gebildet, und jede Iteration verfeinert das Netz, indem ein einzelnes Dreieck in 4 kleinere Dreiecke unterteilt und deren Knoten auf die Kugel projiziert werden. Das endgültige Multi-Mesh enthält 40.962 Knoten und alle Kanten des Graphen bilden während des Verfeinerungsvorgangs einen hierarchischen Graphen mit Kanten unterschiedlicher Länge.

Der Prozessor verwendet 16 nicht gemeinsam genutzte GNN-Schichten mit Nachrichtenübermittlung auf mehreren Gittern. Der Decoder verwendet ein einschichtiges GNN, um die vom Prozessor erlernten Merkmale aus dem Multigrid zurück auf das Längen- und Breitengradsystem abzubilden.

GraphCast-Framework

ac: GraphCasts Eingabe-Vorhersage-Iterationsprozess;

df: GraphCast-Konfiguration für Kodierung, Verarbeitung und Dekodierung;

g: Mehrgitter-Verfeinerungsprozess.

Im Vergleich zur hochauflösenden Vorhersage (HRES) der europäischen mittelfristigen Wettervorhersage schneidet GraphCast sowohl beim ACC als auch beim RMSE besser ab.

Vergleich des Vorhersage-RMSE (a&b) und des ACC (c) zwischen GraphCast und HRES

GraphCast hat nach 3 Wochen Training auf 32 Cloud TPU v4-Geräten auf ERA5-Daten seit 1979 gelernt. GraphCast kann dann auf einem einzelnen Cloud TPU v4-Gerät in 60 Sekunden eine 10-Tage-Wettervorhersage mit einer Auflösung von 0,25° und einem 6-Stunden-Intervall erstellen.

Pangu: Ein großes 3D-Wettermodell basierend auf ViT

Sowohl die Eingabe als auch die Ausgabe des meteorologischen Modells von Pangu sind dreidimensionale meteorologische Felder. Aufgrund der ungleichmäßigen Verteilung der Längen- und Breitengrade im Wetterfeld verwendet das Pangu-Wettermodell einen dreidimensionalen Vision Transformer (ViT) zur Verarbeitung meteorologischer Daten, und seine Genauigkeit übertrifft erstmals die des gängigen integrierten Prognosesystems (IFS).

3D Vision Transformer Architektur

Wenn die Vorhersagezeit länger als drei Tage ist, ist die Leistung des Pangu-Meteorologiemodells und des IFS aus RMSE-Sicht vergleichbar und beide sind besser als das Trainingsset ERA5.

Vergleich der Vorhersageleistung verschiedener Modelle für T850 und Z500

a&b: RMSE, wenn unterschiedliche Modelle T850 bzw. Z500 vorhersagen;

c&d: von verschiedenen Modellen bei T850 bzw. Z500 vorhergesagte Aktivitätsintensität;

e&f: Abweichungen, wenn verschiedene Modelle T850 bzw. Z500 vorhersagen.

Zusammenfassend lässt sich sagen, dass die datengesteuerte Wettervorhersage durch maschinelles Lernen hinsichtlich der Vorhersagegenauigkeit dem traditionellen numerischen Wettervorhersagemodell nahe kommt, die Rechenausstattung und Rechengeschwindigkeit dieses jedoch bei weitem übertrifft. Dies zeigt, dass die KI-Wettervorhersage in der Praxis über ein erhebliches Potenzial verfügt.

Maschinelles Lernen und numerische Vorhersage = Genauigkeit + Geschwindigkeit

Das maschinelle Lernen entwickelt sich weiterhin in erstaunlichem Tempo weiter, sowohl innerhalb als auch außerhalb der Wettervorhersage. Das Europäische Zentrum für mittelfristige Wettervorhersage hat den rasanten Aufstieg der datengesteuerten Wettervorhersage verfolgt, darunter NVIDIA, Huawei und Deepmind.

„FourCastNet ist das erste KI-basierte Wettervorhersagesystem mit einer Auflösung von 0,25° und das erste Open-Source-Wettervorhersagesystem. Unsere neue Version verbessert die mittelfristige Leistung und die langfristige Stabilität des Modells deutlich und hofft, durch ein neuronales Operator-Framework eine Superauflösung zu erreichen“, sagte Anima Anandkumar vom NVIDIA Earth-2-Team.

Das ECMWF stellt den Benutzern diese Modelle des maschinellen Lernens zusammen mit stabilen numerischen Modellen vor und fordert sie auf, den Betrieb und die Leistung der Systeme von der Anwendungsseite aus zu bewerten. Modellgenauigkeit, Zuverlässigkeit, Unsicherheit und Interaktivität sind Schlüsselfaktoren bei der Beurteilung der Qualität und Wirksamkeit meteorologischer Produkte.

Zu diesem Zweck hat das Europäische Zentrum für mittelfristige Wettervorhersage die Prognoseergebnisse von FourCastNet, PGW und GraphCast basierend auf IFS-Anfangsbedingungen öffentlich zugänglich gemacht. Florian Pappenberger sagte: „Offenheit ist der Schlüssel zu Innovation, Zusammenarbeit und Entdeckung. Indem wir Daten, Methoden und Ergebnisse teilen und Vergleiche und Analysen ermöglichen, können wir die wissenschaftliche Entwicklung beschleunigen und letztlich der Gesellschaft zugutekommen.“

Drei öffentliche Daten der meteorologischen KI

Im Vergleich des Europäischen Zentrums für mittelfristige Wettervorhersage zeigt sich, dass KI-basierte Wettervorhersagen in einigen Leistungsaspekten bereits heute mit numerischen Wettervorhersagen vergleichbar sind und in Zukunft eine wichtige Rolle spielen werden. Allerdings verfügen diese Modelle noch nicht über umfassende Prognosefähigkeiten, die für die Bereitstellung wertvoller Prognosen auf mittel- und langfristiger Zeitskala von entscheidender Bedeutung sind.

Offener Zugang, Vergleichsoptimierung, Portabilität und Verfügbarkeit – KI dringt mit ihren Vorteilen in die traditionelle Wettervorhersage ein. Während KI die Wettervorhersage von Supercomputern unabhängig macht, leistet sie auch bei extremen Klimaereignissen gute Dienste. Ich bin davon überzeugt, dass KI zusammen mit numerischer Wettervorhersage die Art und Weise der Wettervorhersage revolutionieren und zur Entwicklung der Landwirtschaft, Forstwirtschaft, Viehzucht, Fischerei, Schifffahrt und Luft- und Raumfahrt beitragen kann.

Referenzlinks:

[1]https://journals.ametsoc.org/view/journals/mwre/29/12/1520-0493_1901_29_551c_tpbolw_2_0_co_2.xml

[2]https://cir.nii.ac.jp/crid/1573668925699683328

[3]https://www.nature.com/articles/nature14956

[4]https://arxiv.org/abs/2202.11214

[5]https://arxiv.org/abs/2212.12794

[6]https://phys.org/news/2023-09-ai-weather-showcase-data-driven.html

[7]https://arxiv.org/abs/2307.10128

-- über--