在 NVIDIA Modulus 中訓練 CorrDiff
本文在示例中展示了超分辨率和新通道合成,以訓練 CorrDiff 將臺灣周圍 25 公里的 ERA5 數(shù)據(jù)轉(zhuǎn)換為 2 公里數(shù)據(jù)。
這一數(shù)據(jù)由臺灣氣象部門(CWA)使用高分辨率區(qū)域數(shù)值天氣預報模型生成。該數(shù)據(jù)集在 CC BY-NC-ND 4.0 許可證下可用于非商業(yè)用途,并且可通過 NGC 下載。有關(guān)該模型的具體說明,請參閱 /NVIDIA/modulus GitHub 資源庫中的“入門”部分。
NVIDIA Modulus 除易于使用外,另一個關(guān)鍵優(yōu)勢就是性能優(yōu)化。目前,在 NVIDIA Tensor Core GPU 上訓練 CorrDiff 需要 2 千至 3 千 GPU 小時。CorrDiff 團隊正在進一步優(yōu)化訓練程序,以將在類似硬件上生成一個超分辨率樣本的時間縮短到只需幾秒鐘。
通過 Modulus 推理 CorrDiff
圖 1. 通過 CorrDiff 方法實現(xiàn)基于生成式 AI 的降尺度
資料來源:《用于公里尺度大氣降尺度的殘余擴散模型》
有關(guān)生成樣本并將其保存到 NetCDF 文件的更多說明,請參閱 /NVIDIA/modulus GitHub 資源庫。運行推理需要為回歸和擴散模型設(shè)置 Modulus 的 checkpoint。這些 checkpoint 將作為訓練流程的一部分而保存。
了解更多信息并獲取訪問權(quán)限,請參閱 NGC 目錄中的 CorrDiff 推理包。
追蹤臺灣上空的風暴
通過如下將 CorrDiff 用于解決極端天氣問題的示例,本文將介紹追蹤臺灣上空風暴所面臨的挑戰(zhàn)。
雖然全球 AI 預報模型在預測風暴路徑方面表現(xiàn)出色,但由于其分辨率有限,僅為 25 公里,無法捕捉精細尺度細節(jié),而這些細節(jié)通常包含對風暴相關(guān)損害至關(guān)重要的最強風力和降水。
在 25 公里的分辨率下,ERA5 輸入數(shù)據(jù)中的臺風結(jié)構(gòu)往往沒有得到充分的解析,導致對其規(guī)模和強度的描述不準確。此外,ERA5 還缺少與物理危害相關(guān)的風眼墻和雨帶的關(guān)鍵空間細節(jié)。
臺灣是全球最潮濕的地區(qū)之一,年降雨量達 2600 毫米(約為全球平均降雨量的 3 倍),年均災(zāi)害成本高達 6.5 億美元。造成這一經(jīng)濟負擔的原因是季節(jié)性臺風給島上帶來大量降雨,導致大面積洪澇,造成生命和財產(chǎn)損失,并且需要進行大規(guī)模疏散。
災(zāi)害風險是反映災(zāi)害嚴重程度和頻率、暴露在災(zāi)害中的人員和資產(chǎn)數(shù)量及其易受破壞程度的綜合指標。圖 2 是政府間氣候變化專門委員會(IPCC) 2022 年第六次評估報告中關(guān)于影響、適應(yīng)性和脆弱性的示意圖。
圖 2. 日益復雜的氣候相關(guān)風險
資料來源:IPCC AR6,WG2,第1章,第146-147頁
臺灣災(zāi)害防救科技中心(NCDR)概述了臺風應(yīng)對計劃的四個階段(圖 3)。
圖 3. 臺風應(yīng)對計劃的四個階段(來源:NCDR)
前兩個階段,即啟動和準備階段,主要是分析風險和發(fā)布災(zāi)害警報。第 3 和第 4 階段,即響應(yīng)和恢復階段,專門用于監(jiān)控災(zāi)害和實施應(yīng)對措施。
NVIDIA 技術(shù)則能夠應(yīng)對這些挑戰(zhàn)。
AI 天氣預報的增強功能可強化第 1 和第 2 階段的風險分析。通過改進天氣預報技術(shù),特別是通過更高的分辨率和更大的集合,就可以更加全面地評估暴露風險。
NVIDIA 開創(chuàng)性的生成式 AI 擴散模型—— CorrDiff 模型,正是在臺灣氣象部門(CWA)納入了雷達數(shù)據(jù)的高分辨率 WRF 數(shù)據(jù)和歐洲中期天氣預報中心的 ERA5 在分析數(shù)據(jù)上訓練而成的。
通過 CorrDiff,臺風等極端天氣現(xiàn)象預測可以從 25 公里分辨率顯著提高至 2 公里分辨率。
圖 4. 臺風“燦都”的超分辨率圖
在這篇文章中,已經(jīng)證明了通過將 ERA5 從 25 公里降尺度到 2 公里,可以探索更多的本地預報情景,從而清晰地描繪出風暴的最好情況、最壞影響和最有可能的影響。
圖 5. 臺風路徑預測集合
評估不確定性至關(guān)重要。然而,在有限的計算資源條件下,必須在集合預報成員的數(shù)量和分辨率之間做出權(quán)衡。NCDR 制作的預報由大約 200 個不同分辨率的集合成員組成。
CorrDiff 等先進 AI 技術(shù)的加入帶來了一場重大的變革——即能夠在單個 GPU 節(jié)點上近乎實時地將集合預報成員數(shù)量擴展到數(shù)千個。
臺灣氣象部門前負責人鄭明典在談到 NVIDIA 生成式 AI CorrDiff 模型的變革潛力時,強調(diào)了其徹底變革天氣預報的強大能力。鄭明典強調(diào) CorrDiff 能夠生成公里尺度的天氣預報,使社會能夠以前所未有的準確度預測極端天氣事件的細節(jié)特征,從而幫助減災(zāi)工作開展。
臺灣災(zāi)害防救科技中心主任陳宏宇對此表示贊同,并強調(diào)了 CorrDiff 對于應(yīng)對前所未有的各種自然災(zāi)害影響方面具有重要意義。他表示 CorrDiff 是一項保障公共安全的創(chuàng)造性解決方案。
實現(xiàn) AI 氣象普及化并賦能氣候技術(shù)
總而言之,NVIDIA Earth-2 實現(xiàn)了氣象信息獲取的普及化,體現(xiàn)了將氣候科學的影響范圍擴展到學術(shù)界之外的現(xiàn)代舉措,使決策者、企業(yè)、記者和民眾都能輕松獲取氣候信息。
作為基于 NVIDIA 生成式 AI 技術(shù)的先進降尺度模型,CorrDiff 在各個領(lǐng)域都大有可為:
在金融服務(wù)領(lǐng)域,CorrDiff 可以幫助用戶在風險評估和資產(chǎn)管理方面做出明智決策;
在能源領(lǐng)域,CorrDiff 的精確降尺度功能可實現(xiàn)更好的資源分配和基礎(chǔ)設(shè)施規(guī)劃,這對優(yōu)化能源生產(chǎn)和分配至關(guān)重要;
政府機構(gòu)可以使用 CorrDiff 加強備災(zāi)和救災(zāi)工作;
個人用戶可以通過更準確的本地化天氣預報感受到 CorrDiff 對日常規(guī)劃和安全保障的影響。
憑借自身出色的適應(yīng)性和效率,CorrDiff 可以幫助產(chǎn)出具有可執(zhí)行性的洞察和精準的預報,助力構(gòu)建建設(shè)一個更具應(yīng)變能力的世界。
以上就是本期的全部內(nèi)容,本系列文章到此也將告一段落。未來,NVIDIA Earth-2 將持續(xù)為生成式AI推動的氣候技術(shù)發(fā)展注入新活力,通過實現(xiàn)準確且具成本效益的天氣預報,增強對氣候變化的認知與應(yīng)對能力,助力構(gòu)建更美好的環(huán)境和更可持續(xù)的未來。
審核編輯:劉清
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5076瀏覽量
103724 -
GPU芯片
+關(guān)注
關(guān)注
1文章
303瀏覽量
5898 -
AI大模型
+關(guān)注
關(guān)注
0文章
320瀏覽量
349
原文標題:生成式 AI 賦能氣候技術(shù)系列三 | Earth-2 化解極端天氣的預測與應(yīng)對難題
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論