DeepMind實現(xiàn)精準降雨預(yù)測 90分鐘后降雨量1秒算出

谷歌母公司 Alphabet 旗下頂級英國 AI 研究機構(gòu) DeepMind 又放大招了。

此次 DeepMind 聚焦天氣預(yù)報這一重大挑戰(zhàn)，與英國氣象局合作將 AI 應(yīng)用于預(yù)測降雨，能比現(xiàn)有預(yù)測模型更準確地預(yù)測未來 1-2 小時內(nèi)的降雨量。

根據(jù)論文，DeepMind 采用深度生成模型來實現(xiàn)精準降雨預(yù)測，使用 NVIDIA V100 GPU，該模型只需 1.3 秒即可生成一個全分辨率的臨近天氣預(yù)測樣本。

DeepMind 研究團隊稱，氣象專家經(jīng)評估表示，比起傳統(tǒng)方法，他們普遍更看好 DeepMind 提出的新 AI 模型，這為利用 AI 大大改善準確度的新天氣預(yù)報方法鋪平了道路。

這項研究剛剛發(fā)表于頂級學(xué)術(shù)期刊 Nature 上，題目為《用雷達深度生成模型進行有技巧的降雨臨近預(yù)報》，論文對模型、數(shù)據(jù)和驗證方法均進行了系統(tǒng)梳理及討論。

此外，DeepMind 已將訓(xùn)練數(shù)據(jù)及一個預(yù)訓(xùn)練的英國模型傳至 GitHub。

現(xiàn)代天氣預(yù)報的棘手問題，2 小時內(nèi)精準預(yù)測天氣

“今天晚上要下雨，記得帶傘!”像這樣圍繞天氣話題的討論和叮囑，在人們的聊天中相當常見。

小到生活日常，大到災(zāi)害預(yù)防，都需要天氣預(yù)報越早越好、越來越準確。但直至今日，預(yù)測降水降雨量，仍是氣象學(xué)家面臨的重大挑戰(zhàn)。

在中世紀，氣象學(xué)家首先使用恒星進行預(yù)測。慢慢地，記錄季節(jié)和降雨模式的表格開始保存。幾個世紀后，英國物理學(xué)家兼數(shù)學(xué)家劉易斯?弗萊?理查森設(shè)想了一個“預(yù)測工廠”(Forecast Factory)，使用計算和大氣物理方程來預(yù)測全球天氣。

如今，在天氣預(yù)報系統(tǒng)中，DeepMind 添加了“機器學(xué)習(xí)”這一新元素。

現(xiàn)代天氣預(yù)報是由數(shù)值天氣預(yù)報(NWP，numerical weather prediction)系統(tǒng)驅(qū)動的。通過求解物理方程，NWP 能做到提前幾天預(yù)測未來天氣。這類方法通常在預(yù)測 6 小時到 2 周后的天氣時準確度很好，但在預(yù)測 2 小時內(nèi)的天氣時準確度會下降。

現(xiàn)在，臨近預(yù)報填補了這個關(guān)鍵時間間隔的性能差距。

臨近天氣預(yù)報對于水管理、農(nóng)業(yè)、航空、應(yīng)急計劃和戶外活動等部門至關(guān)重要，支持了許多依賴天氣決策的行業(yè)的現(xiàn)實社會經(jīng)濟需求。

天氣傳感技術(shù)的進步使測量地面降水量的高分辨率雷達數(shù)據(jù)能夠以高頻率提供(如每 5 分鐘 1 公里分辨率)?，F(xiàn)有方法難以解決的關(guān)鍵領(lǐng)域和高質(zhì)量數(shù)據(jù)的可用性的結(jié)合，為機器學(xué)習(xí)在臨近預(yù)報中做出貢獻提供了機會。

近年來，已有幾種基于機器學(xué)習(xí)的方法問世，他們在雷達觀測的大數(shù)據(jù)集上訓(xùn)練，目的是更好地模擬強降雨和其他難以預(yù)測的降雨現(xiàn)象。例如，谷歌與美國國家海洋和大氣管理局(NOAA)合作研究可能注入 NOAA 企業(yè)的機器學(xué)習(xí)系統(tǒng)，微軟還出資從歷史數(shù)據(jù)中識別重復(fù)的天氣和氣候模式，以改進次季節(jié)性和季節(jié)性預(yù)測模型。

臨近預(yù)報的深度生成模型，準確性和實用性均排名第一

DeepMind 專注于預(yù)測臨近降雨量：提前 2 小時預(yù)測降雨的數(shù)量、時間和地點。

研究人員采用一種類似于 GAN 的深度生成模型方法 DGMR，以過去的雷達數(shù)據(jù)為基礎(chǔ)，對未來的雷達作出詳細和可信的預(yù)測。

從概念上講，這是一個生成雷達影像的問題。降雨深度生成模型 DGMR 學(xué)習(xí)了數(shù)據(jù)的概率分布，描述隨機變量可能獲得的所有可能值，以從其學(xué)習(xí)的分布中生成“臨近預(yù)報”。

有了這些方法，研究團隊既可以準確地捕捉到大規(guī)模的降雨事件，同時也可以產(chǎn)生許多替代的降雨情景(也稱集成預(yù)測 ensemble prediction)，從而探索降雨的不確定性。研究期間，研究團隊使用了英國和美國的雷達數(shù)據(jù)。

在訓(xùn)練過程，研究團隊通過比較 CPU(10 核心 AMD EPYC)和 GPU(NVIDIA V100)硬件的速度來評估采樣速度，發(fā)現(xiàn)生成每個樣本，CPU 所用平均時間為 23.7 秒，GPU 為 1.3 秒。

DeepMind 團隊在博客中提到：“我們特別感興趣的是這些模型對中到大雨事件的預(yù)測能力，這些事件對人們和經(jīng)濟的影響最大。”他們展示了與競爭方法相比，這些模型在統(tǒng)計方面的顯著改進。

為了驗證 DGMR 生成預(yù)測結(jié)果的精度，研究團隊準備了 2 個現(xiàn)有降雨預(yù)測模型，分別隱藏模型名，請英國國家氣象局的 56 名氣象預(yù)報專家來評估。

與其他主流臨近預(yù)測方法相比，DGMR 對 1536 公里乘 1280 公里的區(qū)域做出了更現(xiàn)實、更一致的預(yù)測，提前 5~90 分鐘進行預(yù)測。

“與廣泛使用的臨近預(yù)報方法相比，他們(56 名氣象專家)在 89% 的案例中將我們的新方法評為他們的首選，這體現(xiàn)我們的方法有能力為現(xiàn)實世界決策者提供洞察力。”DeepMind 研究人員寫道。相對于另外兩種競爭方法，DGMR 在準確性和實用性評估方面排名第一。

如圖所示，下圖左上角為觀測到的實際雨云的移動，右上是 DGMR 模型生成的預(yù)測結(jié)果，相比降水強度過高的對流方法(PySTEPS)和模擬結(jié)果模糊的確定性深度學(xué)習(xí)方法(UNet)，DGMR 能更好地捕捉環(huán)流、強度和結(jié)構(gòu)，并更準確地預(yù)測東北部的降雨量和運動，同時生成清晰的預(yù)測。

論文提到：“我們證明，生成式臨近預(yù)報可以提供概率預(yù)測，提高預(yù)測值，支持運營效用，并在解決方案和交付時間方面，替代方法難以做到。”

天氣預(yù)報往往受多重因素影響，也許一個預(yù)測對了降雨位置但算錯強度，另一個預(yù)測在錯誤的位置預(yù)測對了強度等。在這項研究中，研究人員付出了很多努力，根據(jù)廣泛的指標來評估其算法。

DeepMind 研究人員稱，DGMR 可以預(yù)測由于潛在的隨機性而本質(zhì)上難以追蹤的天氣事件，還可以像調(diào)整任務(wù)的系統(tǒng)一樣準確地預(yù)測降雨的位置，同時保留對決策有用的屬性。

下一步計劃：提高長期預(yù)測準確性

通過使用統(tǒng)計、經(jīng)濟和認知分析，DeepMind 展示了一種新的、有競爭力的雷達降雨臨近預(yù)報方法。

“建模復(fù)雜現(xiàn)象、快速預(yù)測和代表不確定性的能力使 AI 成為環(huán)境科學(xué)家的強大工具。”DeepMind 高級專職科學(xué)家 Shakir Mohamed 說。

他認為盡管現(xiàn)在還為時過早，但這次試驗表明，AI 能讓預(yù)測人員不必將時間耗費在不斷增加的預(yù)測數(shù)據(jù)堆里，而是專注于更好地了解其預(yù)測的影響。“這將是減輕當今氣候變化不利影響、支持適應(yīng)不斷變化的天氣模式并可能拯救生命不可或缺的一部分。”

不過，任何方法都有局限性，需要做更多的工作來提高長期預(yù)測的準確性和對罕見和激烈事件的準確性。

因此研究團隊計劃在未來的工作中，開發(fā)更多的評估性能的方法，并進一步將這些方法專業(yè)化，以適應(yīng)具體的現(xiàn)實應(yīng)用。

DeepMind 研究人員相信，這是一個令人興奮的研究領(lǐng)域，他們希望這篇論文能為新的工作提供數(shù)據(jù)和驗證方法，使提供有競爭力的驗證和操作效用成為可能。

他們還希望與英國氣象局的合作將促進機器學(xué)習(xí)和環(huán)境科學(xué)的更大整合，并更好地支持應(yīng)對氣候變化的決策。

結(jié)語：DeepMind 用 AI 破解，科學(xué)難題的又一突破

AI 和數(shù)據(jù)分析的價值正更多滲透到天氣預(yù)報領(lǐng)域。去年年初，華為云與深圳市氣象局合作，采用 AI 方法將預(yù)測準確率提高 10%~20%。借助 AI 及大數(shù)據(jù)，國內(nèi)的彩云天氣應(yīng)用、蘋果去年 4 月收購的第三方天氣應(yīng)用 Dark Sky 均實現(xiàn)了分鐘級的降雨預(yù)測，預(yù)測準確度還在不斷提升。

Facebook 首席 AI 科學(xué)家 Yann LeCun、知名 AI 科學(xué)家吳恩達均曾表示，緩解氣候變化和促進能源效率對于 AI 研究人員來說是值得的挑戰(zhàn)。

環(huán)境科學(xué)和 AI 之間的合作側(cè)重于決策者的價值，為臨近預(yù)報降雨開辟了新渠道，也體現(xiàn)出 AI 在不斷變化的環(huán)境中支持應(yīng)對決策挑戰(zhàn)的機會。

從去年發(fā)布破解蛋白質(zhì)折疊難題的 AI 蛋白質(zhì)預(yù)測模型 AlphaFold，到如今 AI 降雨預(yù)測模型 DGMR 再登 Nature，DeepMind 的 AI 研究正愈發(fā)展現(xiàn)出解決關(guān)鍵科學(xué)問題的實際應(yīng)用價值。

關(guān)鍵詞： DeepMind 精準降雨 預(yù)測 降雨量