Modelle mit Beobachtungen vergleichen

Von interessierter Seite wird oft behauptet, daß die Modelle, mit denen Klimaprojektionen berechnet werden, nicht zuverlässig seien. Diese Behauptung kann man in verschiedener Weise zurückweisen. Zum einen müßte man zurückfragen, in welcher Hinsicht die Modelle ihre Zuverlässigkeit unter Beweis stellen sollen. Modelle sind Idealisierungen der Wirklichkeit und selbstverständlich soll ein Modell nur das leisten, wofür es gemacht wurde. Zum anderen stellt sich die Frage, welche Möglichkeiten man hat, die dem Modell zugeschriebenen Fähigkeiten zu testen. Ein wichtiger Punkt sind dabei der Vergleich von Modellergebnissen und Beobachtungen. Es gibt aber auch noch andere Möglichkeiten. Doch hier will ich fragen, was man beachten muß, um Modellergebnisse und Beobachtungen zu vergleichen.



Die Versuchung ist groß, die Beobachtungen in ihrer ganzen Vielfalt zu nehmen und einfach gegen die Modellergebnisse aufzutragen. Man sähe dann gerne eine Beziehung von Modellwert gleich Beobachtung - Korrelation 1, Steigung 1, Achsenabschnitt 0. Doch es gibt da einige Hindernisse und wenn man die nicht beachtet, ist der ganze Vergleich zwischen Modell und Beobachtungen zum Scheitern verurteilt.

Nehmen wir mal ein Klimamodell an, das ungeheuer komplex ist, die Erde beliebig genau mit Gitterelementen abtastet, mit sehr kleiner Zeitschrittweit gerechnet wird (auf einem Supersupersupersupersuperschnellen Computer). Es ist nichtsdestotrotz ein Randwertmodell - kein Wettervorhersagemodell mit extrem großem Prognosezeitraum. Zu keinem Zeitpunkt macht das Modell eine Vorhersage für unsere reale Erde in dem Sinne, daß wir sehen könnten, wo es in 10 Jahren und 112 Tagen wie stark regnet und wann wieder ein El Nino startet. Würden wir aber dieses Modell 1000 mal rechnen und von allen Läufen den Mittelwert bilden und dann 1000 mal unsere Erde nehmen und jedes Mal über den gesamten Zeitraum unsere Beobachtungen machen und ihre Ergebnisse mitteln, dann sollten die jeweiligen Mittelwerte übereinstimmen. Die Beobachtungen einer einzelnen Erde sollten aber munter um die Modellmittelwerte streuen, genauso wie ein Modellergebniss lustig um den Mittelwert der Beobachtungen auf 1000 realen Erden schwanken würde. Das Modell können wir immer wieder rechnen und daher Mittelwerte bilden, aber eine Erde gibt es nur einmal. Das ist ein grundsätzliches Problem beim Vergleich. Wir erwarten also grundsätzlich nicht, daß zum Beispiel die globale Temperaturanomalie aus den Modellrechnungen  in irgendeinem Jahr mit dem globalen Mittelwert der Beobachtungen übereinstimmt. Erst recht gilt das, sobald wir auf einzelne Regionen der Erde schauen.

Die Frage ist nun, um wieviel die beobachteten globalen Temperaturanomalien von den mit dem Modell berechneten abweichen dürfen, um mit den Annahmen für das Modell verträglich zu sein. Wenn man das machen will, hat man verschiedene Möglichkeiten. Die eine ist, aus der wiederholten Rechnung mit dem Modell zu bestimmen, wie variabel eine betrachtete Größe ist, um so festzulegen, welche Unsicherheitsspanne ich für die Modellergebnisse annehmen muß. Innerhalb der Unsicherheitsspanne muß dann ein gewisser Prozentsatz der Beobachtungen anzutreffen sein. Die Bestimmung eines Modellfehlers aufgrund verschiedener Rechnungen, womöglich mit mehreren verschiedenen Modellen, ist ein Möglichkeit, eine Fehlerspanne für den Vergleich darzustellen, und man kann dabei einfach den Bereich darstellen, in dem sich in jedem Jahr 95% der Modellergebnisse befinden, um einen 2-Sigma-Fehler zu ermitteln.

Von der anderen Seite bohrt man das Problem auf, wenn man untersucht, wie variabel die Beobachtungen sind. Hier gibt es einige Untersuchungen bezüglich der verschiedenen Beiträge zur Variabilität der globalen Temperaturanomalien (bei anderen Größen kann die Lage wesentlich komplizierter werden, etwa beim Niederschlag) und darüber hinaus die Möglichkeit, einfach die Varianz der Temperaturzeitreihe zu berechnen. Das kann man verfeinern, indem man die Zeitreihe vorher von ihrem Trend befreit, das vielleicht abschnittsweise. Ziel ist es, alle Quellen für Varianz zu entfernen, die vom Modell für die reale Welt berücksichtigt werden können. Im Grunde wissen wir hier die Antwort schon. Die doppelte Standardabweichung der trendlosen Zeitreihe liegt bei etwa 0,18 Grad (2-Sigma-Grenze, enthält 95% aller Werte), und übersteigt damit den Temperaturtrend über gegenwärtig etwas mehr als 10 Jahre. Beim Vergleich zwischen einem einzelnen Jahresmittelwert bei den Beobachtungen und im Modell für die globale Temperaturanomalie müssen wir daher eine Abweichung von 0,18 Grad zulassen. Dazu kommt noch der Fehler der Temperaturdaten von etwa 0,05 Grad, macht 0,19 Grad als Gesamtfehler (wenn man die Fehler als unabhängig annimmt und daher den Gesamtfehler als Wurzel aus der Summe der Quadrate der Einzelfehler berechnet). Wie man am Beispiel unten sieht, wäre dieser Fehler allerdings kleiner als der Fehler aus den Modellen, den man daher zweckmäßigerweise für den Vergleich wählt.

Wenn man die folgende Abbildung betrachtet, in der ein Vergleich von Modellergebnissen mit ihrem Fehlerbereich mit den beobachteten global gemittelten Temperaturanomalien durchgeführt wurde (Abbildung von realclimate, weitere Erläuterungen dort), sieht man zwar eine Übereinstimmung zwischen Modell und Beobachtungen, aber man sieht auch ein Problem: der Bereich der Modellunsicherheit ist sehr groß. Und hätten wir andererseits die vom Modell nicht aufgelöste Varianz der Beobachtungen als Fehlerbereich der Messungen gegen die mittlere Modellwerte für die globale Temperaturanomalie verglichen, hätten wir einen ähnlich großzügigen Unsicherheitsbereich berücksichtigen müssen. Der Vergleich einzelner Jahre bei den globalen Temperaturanomalien ist keine besonders gute Methode, Modelle zu validieren. In einem weiteren Beitrag möchte ich das näher beleuchten.

Vergleich von Modellergebnisse der Modelle für den vierten IPCC-Bericht 2007 mit dem Bereich in grau, in dem 95% der Modellergebnisse liegen, und den Temperaturanomalien aus den Zeitreihen des Hadley Centres HadCRUT3, der NASA GISTEMP und NOAA NCDC nach Realclimate.org.