眾所周知，傳統(tǒng)天氣預(yù)報的可靠性，多少都有些一言難盡。

最近，DeepMind和谷歌新研究出了一種基于機(jī)器學(xué)習(xí)的天氣模擬器，可以在60秒內(nèi)預(yù)測10天內(nèi)的天氣，而且準(zhǔn)確率極高！

論文地址：https://arxiv.org/abs/2212.12794

1. GraphCast是一種基于圖神經(jīng)網(wǎng)絡(luò)的自回歸模型，性能優(yōu)于世界上最準(zhǔn)確的機(jī)器學(xué)習(xí)天氣預(yù)報系統(tǒng)（中期天氣預(yù)報）；

2. GraphCast只需單臺Cloud TPU v4設(shè)備，即可在60秒內(nèi)生成10天內(nèi)的天氣預(yù)報（35GB數(shù)據(jù)），分辨率高達(dá)0.25°；

3. 通過在更大、更新、質(zhì)量更高的數(shù)據(jù)上進(jìn)行訓(xùn)練，可以進(jìn)一步提升GraphCast預(yù)測的速度和準(zhǔn)確性。

而在短期天氣預(yù)報方面，DeepMind曾于2021年9月在Nature上發(fā)文稱，其生成模型能以89%的絕對優(yōu)勢吊打其他方法。

中期天氣預(yù)報為什么那么難

「中期天氣預(yù)報」通常是指對未來于4至10天內(nèi)天氣變化趨勢的預(yù)報。其準(zhǔn)確性，對于農(nóng)業(yè)、建筑業(yè)、旅游業(yè)等行業(yè)的政策制定來說至關(guān)重要。

為此，國際領(lǐng)先的歐洲中期天氣預(yù)報中心（ECMWF）， 每天都會提供多達(dá)四次的中期天氣預(yù)報。

在中期天氣預(yù)報的制作過程中，有兩個關(guān)鍵的組成部分都需要利用大規(guī)模高性能計算（HPC）集群進(jìn)行模擬：

• 通過分析由氣象站、船舶等收集的當(dāng)前和歷史數(shù)據(jù)來預(yù)測天氣狀況，也就是「數(shù)據(jù)同化」；
• 通過數(shù)值天氣預(yù)報（NWP）系統(tǒng)建立預(yù)測天氣相關(guān)變量將如何隨時間變化的模型。

然而，隨著數(shù)據(jù)量的顯著增加，NWP模型卻無法得到有效的擴(kuò)展。

也就是說，雖然現(xiàn)在有大量的天氣和氣候觀測檔案，但我們卻很難直接利用這些數(shù)據(jù)來提高預(yù)報模型的質(zhì)量。

而改進(jìn)NWP的方法，一般是由訓(xùn)練有素的專家手動創(chuàng)造更好的模型、算法和近似值，這個過程耗時耗力，成本高昂。

相比之下，基于機(jī)器學(xué)習(xí)方法可以利用更多、更高質(zhì)量的可用數(shù)據(jù)來提高模型的準(zhǔn)確性，而且計算預(yù)算通常要低得多。

GraphCast

在論文「GraphCast：中期全球天氣準(zhǔn)確預(yù)報學(xué)習(xí)」中，DeepMind以「編碼-處理-解碼」的方式使用圖神經(jīng)網(wǎng)絡(luò)（GNN）來創(chuàng)建一個自回歸模型。

GraphCast的三階段模擬過程如下：

1. 使用從網(wǎng)格點到多網(wǎng)格的有向邊的GNN，將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)映射到多網(wǎng)格上的學(xué)習(xí)特征中；

2. 一個深度GNN被用來在多網(wǎng)格上進(jìn)行學(xué)習(xí)的信息傳遞，其中長距離的邊允許信息在空間上有效傳播；

3. 解碼器將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并執(zhí)行任何必要的操作。

研究結(jié)果顯示，GraphCast的性能在252個變量中，有99.2%超過了現(xiàn)有最準(zhǔn)確的機(jī)器學(xué)習(xí)天氣預(yù)報模型；在2760個變量中，有90%超過了歐洲氣象中心的高精度預(yù)報（ECMWF HRES Forecast）。

(a) 輸入的天氣狀態(tài)是在高分辨率的緯度-經(jīng)度-氣壓層網(wǎng)格上確定的。

(b) GraphCast預(yù)測天氣的下一個狀態(tài)是緯度-經(jīng)度-壓力級網(wǎng)格。

(c) 通過迭代地將GraphCast應(yīng)用于每個先前的預(yù)測狀態(tài)，以產(chǎn)生一連串的狀態(tài)，將天氣表示為連續(xù)的提前量。

(d) GraphCast架構(gòu)的編碼器組件將輸入的局部區(qū)域（綠色方框）映射到多網(wǎng)格圖的節(jié)點。

(e) 處理器組件使用所學(xué)的消息傳遞來更新每個多網(wǎng)格節(jié)點。

(f) 解碼器組件將經(jīng)過處理的多網(wǎng)格特征（紫色節(jié)點）映射到網(wǎng)格表示上。

ERA5數(shù)據(jù)集

GraphCast在39年（1979年-2018年）歷史天氣數(shù)據(jù)的語料庫上進(jìn)行了訓(xùn)練，即ECMWF的ERA5再分析數(shù)據(jù)集。

模型以6小時的時間步長，在0.25°經(jīng)緯度分辨率下，對5個地表變量和6個大氣變量進(jìn)行10天的預(yù)測，每個變量在37個垂直壓力層上，代表了特定地點和時間的天氣狀態(tài)。

如圖1a所示，研究人員將時間指數(shù)t處的天氣狀態(tài)表示為。

環(huán)繞地球的網(wǎng)格對應(yīng)每個緯度、經(jīng)度和壓力級別的變量。表面和大氣變量分別由放大視圖中的黃色和藍(lán)色框表示。

我們將中對應(yīng)于特定網(wǎng)格點??（總共有1,038,240個）的變量子集稱為，并將227個目標(biāo)變量中的每個變量??稱為。

生成預(yù)測

GraphCast 將兩個天氣狀態(tài)作為輸入，它們分別對應(yīng)當(dāng)前時間t，和前一個時間t-1，并預(yù)測下一個時間步長的天氣狀態(tài)（如圖1b所示）。

為了生成T-step預(yù)測，GraphCast以自回歸方式迭代上圖的等式，將自己的預(yù)測作為輸入，來預(yù)測后面的步長（即，預(yù)測步長t+2，輸入為；預(yù)測步長 t + 3，輸入為?。

圖1b、c描述了這個過程。

架構(gòu)

GraphCast的核心架構(gòu)在「編碼-處理-解碼」配置中使用GNN，如圖1d、e、f所示。

基于GNN的學(xué)習(xí)模擬器在學(xué)習(xí)流體和其他材料的復(fù)雜物理動力學(xué)方面非常有效，因為它們的表示和計算結(jié)構(gòu)類似于有限元學(xué)習(xí)求解器。

GNN的一個關(guān)鍵優(yōu)勢是，輸入圖的結(jié)構(gòu)決定了表示的哪些部分通過學(xué)習(xí)的消息傳遞相互交互，從而允許在任何范圍內(nèi)進(jìn)行任意模式的空間交互。

相比之下，卷積神經(jīng)網(wǎng)絡(luò) (CNN) 僅限于計算局部patch內(nèi)的交互（或者，在擴(kuò)張卷積的情況下，有規(guī)律地跨越更長的范圍）。

而Transformer雖然也可以完成任意的遠(yuǎn)程計算，但是在輸入非常大的情況下，它們不能很好地擴(kuò)展（要知道，GraphCast的全局輸入中有超過100萬個網(wǎng)格點），因為計算中all-to-all的交互，會引起很復(fù)雜的二次記憶。

Transformer的當(dāng)代延伸通常會稀疏化可能的交互，以降低復(fù)雜性，這使它們實際上類似于GNN。

通過引入GraphCast的內(nèi)部多網(wǎng)格表示，研究人員利用GNN的能力，模擬了任意稀疏的交互方式。

它在全局范圍內(nèi)具有均勻的空間分辨率，并允許在少數(shù)消息傳遞步長內(nèi)進(jìn)行長距離互動。

要構(gòu)造一個多網(wǎng)格，首先要將一個常規(guī)的二十面體（12個節(jié)點和20個面）迭代6次，得到一個二十面體網(wǎng)格的層次結(jié)構(gòu)，在最高分辨率下共有40,962個節(jié)點和81,920個面。

因為粗網(wǎng)格節(jié)點是細(xì)網(wǎng)格節(jié)點的子集，研究人員能夠?qū)⒕W(wǎng)格層次結(jié)構(gòu)中的各級邊緣，疊加到最小分辨率的網(wǎng)格上。

這個過程產(chǎn)生了一個多尺度的網(wǎng)格集，粗邊在多個尺度上彌合了長距離，細(xì)邊捕捉了局部的相互作用。

圖1g顯示了每個單獨的細(xì)化網(wǎng)格，而圖1e顯示了完整的多網(wǎng)格。

使用具有從網(wǎng)格點到多網(wǎng)格的定向邊的GNN，GraphCast的編碼器（圖1d）首先將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)，映射為多網(wǎng)格上的學(xué)習(xí)特征。

然后，處理器（圖1e）使用一個16層的深度GNN，在多網(wǎng)格上進(jìn)行學(xué)習(xí)的信息傳遞，由于長距離的邊緣，信息可以在空間上被有效傳播。

然后，解碼器（圖1f）使用具有定向邊緣的GNN，將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并將該網(wǎng)格表示?????+??與輸入狀態(tài)?????+??相結(jié)合，形成輸出預(yù)測，?????+??+1 = ?????+?? + ????? +??。

訓(xùn)練過程

GraphCast被訓(xùn)練成在12步預(yù)測（3天）中對ERA5目標(biāo)進(jìn)行目標(biāo)函數(shù)最小化，使用的是梯度下降法。

目標(biāo)函數(shù)如下——

研究人員使用批處理并行技術(shù)，在32臺Cloud TPU v4設(shè)備上花了大約3周時間對GraphCast進(jìn)行了訓(xùn)練。

為了減少內(nèi)存占用，研究人員還使用了復(fù)雜的梯度檢查點策略和低精度的數(shù)值。

結(jié)果

結(jié)果顯示，GraphCast在0.25°分辨率的10天預(yù)報中，全面超越了HRES天氣預(yù)報技術(shù)。

如圖4所示，GraphCast（藍(lán)線）在10個主要地表和大氣變量上，都明顯優(yōu)于HRES（黑線）。

此外，研究人員通過區(qū)域分析表明，這些結(jié)果在整個地球上是一致的。

根據(jù)評估的結(jié)果，GraphCast在2760個變量、等級和前置時間（4個地表變量，加上5個大氣變量×13個等級，歷時10天，每天4個步長）中的90.0%表現(xiàn)優(yōu)于HRES。

研究人員表示，HRES在高層大氣級別上的表現(xiàn)往往比GraphCast好，特別是壓力級別50hPa，這并不奇怪，因為應(yīng)用于50hPa或以下壓力級別的總訓(xùn)練損失權(quán)重只占所有變量和級別總損失權(quán)重的0.66%。

當(dāng)排除50hPa水平時，GraphCast在2240個目標(biāo)中優(yōu)于HRES的百分比為96.6%；當(dāng)排除50和100hPa水平時，1720個目標(biāo)中的百分比為99.2%。

第1行顯示ERA5，第2行顯示HRES，第3行顯示GraphCast，第4行和第5行分別是HRES和HRES-fc0、GraphCast和ERA5之間的誤差絕對值圖。底部的圖顯示了HRES和GraphCast的RMSE水平。

msl的真實和預(yù)測的天氣狀態(tài)

自回歸訓(xùn)練對預(yù)測的影響

當(dāng)用較少的自回歸步長訓(xùn)練時，模型在較短的前置時間內(nèi)表現(xiàn)較好，而在較長的前置時間內(nèi)表現(xiàn)較差。

隨著自回歸步數(shù)的增加，在較短的前置時間內(nèi)性能變差，但在較長的前置時間內(nèi)性能變好。

GraphCast與頂級ML預(yù)測模型的性能比較

目前，基于ViT的Pangu-Weather代表了基于ML的天氣預(yù)報的最新水平，其計算模式與GNN相似。

GraphCast與Pangu-Weather的對比結(jié)果如圖8所示。第1行和第3行顯示GraphCast（藍(lán)線）、Pangu-Weather（紅線）、HRES對HRES-fc0的評價（黑線）和HRES對ERA5的評價的絕對RMSE；第2行和第4行顯示各模型之間相對于Pangu-Weather的歸一化RMSE差分。

總結(jié)一下

GraphCast模型在10天的預(yù)報中，在6小時步長和0.25°經(jīng)緯度分辨率下，超過了目前最精確的確定性系統(tǒng)——ECMWF的HRES。

針對2760個變量、壓力等級和前置時間的組合進(jìn)行評估的結(jié)果顯示，GraphCast模型在90.0%的指標(biāo)上比HRES的RMSE低。

當(dāng)排除了100hPa及以上的高層大氣場時，GraphCast在1760個目標(biāo)中的99.2%表現(xiàn)優(yōu)于HRES。

此外，在252個目標(biāo)中，GraphCast有99.2%超過了之前最好的ML基線——Pangu-Weather。

GraphCast的一個關(guān)鍵創(chuàng)新是其新穎的「多網(wǎng)格」表征方法，這使得它能夠捕捉到比傳統(tǒng)的NWP方法更長的空間互動，從而支持更粗的原始時間步長。

這就是為什么GraphCast可以在一個Cloud TPU v4設(shè)備上以6小時為單位在60秒內(nèi)生成準(zhǔn)確的10天天氣預(yù)報的部分原因。