文章轉載自「AICUG人工智能社區」,連接: https://zhuanlan.zhihu.com/p/117985325微信
從幾分鐘到幾周提早準確地預測天氣是一項基本的科學挑戰,會對社會的許多方面產生普遍的影響。許多氣象機構採用的當前預報都是基於大氣的物理模型,儘管在過去的幾十年中有很大的改進,但一直以來受到其計算要求的約束,而且對控制他們的物理定律很敏感。另外一種天氣預報方法可以克服其中一些限制的,即便用深度神經網絡(DNN):不是對明確的物理定律進行編碼,DNN而是發現數據中的模式,並經過在功能強大的專用硬件,例如GPU和TPU使用並行計算來學習從輸入到所需輸出的複雜轉換。網絡
在先前對降水臨近預報的研究的基礎上,咱們提出了「 MetNet: A Neural Weather Model for Precipitation Forecasting (MetNet:用於降水預報的神經網絡天氣模型)」,這是一種DNN,可以以2分鐘的間隔中1 公里的分辨率預測將來8小時內的降水。MetNet優於當前最早進的基於物理的模型,該模型被NOAA採用,MetNet能夠將預測時間提早7-8小時,而且能夠在整個美國進行預測,而不是一個小時,而只需幾秒鐘。該網絡的輸入自動從雷達站和衛星網絡得到,而無需人工註釋。模型輸出是一個機率分佈,咱們用它來推斷每一個地理區域最可能的降水率以及相關的不肯定性。下圖提供了該網絡在美國大陸上的預測示例。app
MetNet模型預測與由NOAA多雷達/多傳感器系統(MRMS)測得的地面真相進行了比較。MetNet模型(頂部)顯示了將來2分鐘到480分鐘以內預測的1 毫米 / hr降水的機率,而MRMS數據(底部)顯示了在同一時間段內至少1 毫米 / 小時降水的區域機器學習
神經網絡天氣模型
MetNet不依賴描述大氣動力學的明確物理定律,而是經過反向傳播學習直接從觀測數據中預測天氣。該網絡使用的降水量估算值是從包括多雷達/多傳感器系統(MRMS)的地面雷達站得出的,測量值來自NOAA的地球靜止運行環境衛星系統,該系統提供了自上而下的大氣雲圖。兩種數據源都覆蓋美國大陸,並提供可經過網絡有效處理的相似圖像的輸入。性能
該模型以1 公里分辨率,以每64 公里 x 64 公里平方執行計算,且計算覆蓋整個美國。可是,與這些區域中的每一個輸出區域相對應的輸入數據的實際物理覆蓋範圍要大得多,由於它必須考慮在進行預測的時間段內雲層和降水場的可能運動。例如,假設雲層以最高60 公里 / h的速度運動,爲了作出能在將來8小時內捕獲大氣時間動態的明智預測,該模型在全部方向上都須要60 x 8 = 480 公里的空間背景。所以,要實現此級別的環境,須要對1024 公里 x 1024 公里區域的信息進行中心64 公里 x 64 公里補丁區域預測。學習
包含衛星和雷達圖像的輸入補丁區域的尺寸(大,1024 x 1024 平方公里)以及輸出的預測雷達圖像的尺寸(小,64 x 64 平方公里)優化
因爲以全分辨率處理1024 公里 x 1024公里 的區域須要大量內存,所以咱們使用空間下降取樣頻率取樣器,該採樣器經過減少輸入補丁區域的空間尺寸來減小內存消耗,同時在輸入中查找並保持相關的天氣模式。而後,沿着降採樣後的輸入數據的時間維度應用時間編碼器(由卷積LSTM實現,該卷積LSTM很是適合圖像序列),以15分鐘爲間隔對來自輸入數據的前90分鐘的七個快照進行編碼。接着將時間編碼器的輸出傳遞到空間聚合器,該空間聚合器使用軸向自注意力來有效捕獲數據中的遠程空間相關性,並根據輸入目標時間提供可變的上下文量,從而對64 公里 x 64 公里輸出。ui
該體系結構的輸出是一個離散的機率分佈,該分佈估計了美國大陸上每平方千米的給定降水速率的機率。編碼
神經氣象模型MetNet的體系結構. 輸入的衛星和雷達圖像首先經過空間下降取樣頻率取樣器以減小內存消耗, 而後在90分鐘的輸入數據中以15分鐘的間隔經過卷積LSTM處理它們, 而後使用軸向注意層使網絡看到整個輸入圖像人工智能
結果
咱們根據降水率預報基準(precipitation rate forecasting benchmark)對MetNet進行評估,並將結果與兩個基準進行比較-NOAA高分辨率快速刷新(HRRR)系統(這是目前在美國運行的物理天氣預報模型),以及用於估計大氣降水活動的基準模型(即光流),這是一種在少於2小時的預測時間內表現良好的方法。
咱們的神經網絡天氣模型的一個顯著優點是,優化了密集和並行計算,很是適合在特殊硬件(例如TPU)上運行。不管是針對特定位置(例如紐約市仍是整個美國),這均可以在幾秒鐘內並行進行預測,而諸如HRRR之類的物理模型,須要在超級計算機上的運行約一個小時。
咱們在下圖中量化了MetNet,HRRR和光流基線模型之間的性能差別。在這裏,咱們展現了使用F1-score在1.0毫米 /小時的降水率閾值下評估的這三個模型所實現的性能,該閾值對應於小雨。MetNet神經天氣模型可以在不到8小時的時間上賽過NOAA HRRR系統,而且始終優於基於光流的模型。
因爲大氣的隨機性,隨着將來預測時間的延長,關於確切將來天氣情況的不肯定性會增長。由於MetNet是一個機率模型,隨着預測時間的延長,預測的不肯定性視覺化可經過預測遞增的平滑性顯示。相反,HRRR並不直接作出機率預測,而是預測單個潛在的將來。下圖將MetNet模型的輸出與HRRR模型的輸出進行了比較。
從NOAA MRMS系統檢索到的MetNet(頂部)和HRRR(底部)輸出與地面真相(中間)之間的比較. 請注意: 儘管HRRR模型預測的結構看起來與真實狀況更類似, 但預測的結構可能嚴重錯誤
HRRR物理模型的預測比MetNet模型的預測更清晰,更結構化,可是因爲模型的初始條件和參數的不肯定性,結構(尤爲是結構預測的確切時間和位置)的準確性較差。
HRRR(左)預測了許多可能結果中的單個潛在將來結果(紅色), 而MetNet(右)則經過分配將來結果的機率來直接考慮不肯定性
將來發展方向
咱們正在積極研究如何改善全球天氣預報,尤爲是在受快速氣候變化影響嚴重的地區。雖然咱們演示了針對美國大陸的當前MetNet模型,但能夠將其擴展到可得到適當雷達和光學衛星數據的任何區域。此處介紹的工做只是該類方向研究的一個小墊腳石,咱們但願經過與氣象界的進一步合做來帶來更大的改進。
往期推薦
Nature(2019)-地球系統科學領域的深度學習及其理解
本文分享自微信公衆號 - 氣象雜貨鋪(meteogs)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。