氣候預測?|?并行計算集群?

氣候模擬?| 高性能數(shù)值計算?

氣象大數(shù)據(jù)平臺 |?氣象高性能計算集群

隨著氣候預測、氣候模擬、智慧氣象、并行計算集群、氣象大數(shù)據(jù)平臺、高性能數(shù)值計算、氣象高性能計算集群的發(fā)展，人類步入全新的人工智能大數(shù)據(jù)時代。

“雷聲大雨點小”“久晴大霧必陰,久雨大霧必晴”……自古以來，人們從云卷云舒、風停雨歇中學會了觀天象，并將這些經(jīng)驗用于出行、農(nóng)事活動中。進入現(xiàn)代社會，天文學、流體力學等學科的快速發(fā)展，氣象站、氣象氣球和衛(wèi)星等工具的利用，人類對氣象的理解邁進了新的臺階。

對于如何增強氣象科技自主創(chuàng)新能力，賦能高質(zhì)量發(fā)展。有專業(yè)人士指出一方面是利用人工智能、大數(shù)據(jù)等技術(shù)把氣象服務做得更加精細化、準確化；另一方面是創(chuàng)新行業(yè)解決方案，挖掘更多行業(yè)或場景的氣象需求，讓氣象服務更加緊密結(jié)合生產(chǎn)生活。

大數(shù)據(jù)如何滿足

未來氣象預報的發(fā)展

超級計算機、大數(shù)據(jù)應用將能夠滿足未來氣象預報在三個關(guān)鍵領(lǐng)域的需求：

管理和利用龐大數(shù)據(jù)集

環(huán)境數(shù)據(jù)的數(shù)據(jù)量和多樣性將以指數(shù)形式成倍增加，將對基礎(chǔ)設(shè)施管理和存儲這些數(shù)據(jù)提出極大的需求，也要求更大計算能力模擬使用。這也為公立和私營機構(gòu)研究人員專業(yè)化服務提供了新機遇。

提高模型的分辨率

高分辨率模型是一個關(guān)鍵因素，可以更好地評估長期氣候系統(tǒng)狀態(tài)，提高氣象預報能力，特別是對災害性天氣的預報能力。美國國家大氣研究中心和大學的研究人員使用超級計算機對于颶風的模擬，已經(jīng)提高到500米分辨率，相當于幾個街區(qū)的預報。

解決技術(shù)障礙

鑒于天氣建模和分析變得更加數(shù)據(jù)密集型，需要更大計算能力，研究人員必須更加關(guān)注性能瓶頸，如內(nèi)存、I / O、互連延遲和帶寬。天氣模擬需要成千上萬微處理器并行運算，突破硬件和軟件的可擴展性限制。此外，可擴展的操作系統(tǒng)、編譯器和應用程序庫正在發(fā)揮作用。最終，底層技術(shù)基礎(chǔ)設(shè)施必須緊密集成，支持模擬和分析工作流程。

大數(shù)據(jù)疊加AI算法

天氣實現(xiàn)分鐘即、公里級預報

在過去，全球廣泛采用的天氣預報模式是數(shù)值模擬法，通過實驗室內(nèi)的大型計算機作數(shù)值計算，用物理方程表達天氣演變，從而預測一段時間內(nèi)大氣運動狀態(tài)和氣象。盡管很長一段時間的天氣預測都是依靠數(shù)值模擬法，但是數(shù)值模擬由于精準度和準確率有限，慢慢達到了瓶頸，難以滿足現(xiàn)代社會的發(fā)展需求。

中國氣象局高級工程師卡贊表示：天氣預報和人工智能有著天然耦合的關(guān)系。天氣預報需要大量的、多種多樣的資料，人工智能天生就是處理大數(shù)據(jù)的工具；現(xiàn)有資料的時空數(shù)據(jù)密度不夠，人工智能具有對不完全不確定信息的推斷能力；此外人工智能還可以總結(jié)專家的知識經(jīng)驗，提高平均預測水平以及利用統(tǒng)計與數(shù)值模式中無法利用的抽象預報知識等。

人工智能預測主要的方法是用大量的訓練數(shù)據(jù)加上人工智能模型，通過數(shù)據(jù)進行計算優(yōu)化的方法，可以和數(shù)值模擬進行很好的互補。

直接采用端到端的AI技術(shù)，通過長時間收集到的雷達云圖運動的時間序列數(shù)據(jù)及人工智能和模式數(shù)據(jù)的融合，進行預測云在未來移動的方向、下雨積雨云運動的方向等。

天氣是一個混沌系統(tǒng)，從現(xiàn)有技術(shù)看，不可能實現(xiàn)100%準確，但人工智能、大數(shù)據(jù)等新興技術(shù)的加入，使得預報結(jié)果與真實情況之間不斷接近，目前已可實現(xiàn)公里級、分鐘級的格點化天氣預報。

通過人工智能和大數(shù)據(jù)的加持，智慧氣象已經(jīng)在各個領(lǐng)域發(fā)揮作用，其優(yōu)勢也逐漸顯現(xiàn)。與傳統(tǒng)氣象預測手段相比，人工智能具有數(shù)據(jù)處理能力更強、預測準確性更高、精細化程度在空間維度達到公里級甚至百米級，時間維度達到分鐘級、并與其他的生產(chǎn)生活相關(guān)的指數(shù)等相結(jié)合。

用好預報工具?

“ 氣象+” 賦能經(jīng)濟社會發(fā)展

人們?nèi)粘５纳a(chǎn)生活與天氣變化之間的關(guān)系密切，而災害性天氣對農(nóng)業(yè)、交通、經(jīng)濟、生活等方面影響更加顯著。

國家應急管理部發(fā)布的2021年全國自然災害基本情況數(shù)據(jù)顯示，2021年全年各種自然災害共造成1.07億人次受災；倒塌房屋16.2萬間，不同程度損壞198.1萬間；農(nóng)作物受災面積11739千公頃；直接經(jīng)濟損失3340.2億元。

如何盡量規(guī)避天氣風險并利用好天氣為經(jīng)濟社會發(fā)展服務成為當今社會的一道“必答題”。國務院印發(fā)的《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》提出，要筑牢氣象防災減災第一道防線，提高氣象災害監(jiān)測預報預警能力；提高氣象服務經(jīng)濟高質(zhì)量發(fā)展水平，實施氣象為農(nóng)服務提質(zhì)增效行動、海洋強國氣象保障行動、交通強國氣象保障行動、“氣象+” 賦能行動。

在國家層面，氣象科技賦能高質(zhì)量發(fā)展要把氣象技術(shù)觀測設(shè)備，衛(wèi)星觀測站基礎(chǔ)設(shè)備能力提升。對氣象服務企業(yè)來說，利用好這些設(shè)備和技術(shù)，創(chuàng)新行業(yè)解決方案，賦能各個需求場景和行業(yè)，更深入的為經(jīng)濟社會發(fā)展服務。

在農(nóng)業(yè)領(lǐng)域，農(nóng)業(yè)是國民經(jīng)濟的基礎(chǔ)，“三農(nóng)”工作與氣象工作息息相關(guān)。墨跡天氣負責人黃渤海表示“在農(nóng)業(yè)種植決策上，通過預測天氣，農(nóng)民可以選擇合適的時間進行春播秋收，通過判斷整年的氣候情況和水土選擇合適的作物種植，增加產(chǎn)量。耕作后，農(nóng)民可以通過天氣預報進行防災減災，減少損失。此外，通過預測降水情況還可以幫助農(nóng)民減少灌溉成本，提升對水資源的利用效率。”

藍海大腦氣象大數(shù)據(jù)平臺

項目背景

某省是我國受臺風、暴雨、干旱、寒潮、大風、冰雹、凍害、龍卷風等災害影響最嚴重地區(qū)之一。在氣象災害相對頻發(fā)的情況下，某省氣象局在服務經(jīng)濟社會發(fā)展中作用日益突出，提高氣象觀測、數(shù)據(jù)共享和精細化預報水平變得至關(guān)重要。通過與藍海大腦合作，擺脫原有IT基礎(chǔ)構(gòu)架對于氣象工作的限制，實施彈性的統(tǒng)一架構(gòu)，實現(xiàn)了高水平的氣象觀測、預測和服務業(yè)務。

客戶需求

由于天氣預報模擬具有計算量大、通訊密集、I/O要求高和規(guī)范的模式系統(tǒng)化集成等特點，對高性能計算系統(tǒng)的計算性能有著超高的要求，具體要求表現(xiàn)如下：

• 計算量大

  氣象預報本身具有時效性，要求定時定點自動運行，無需人工干預。一般每天在固定的2-4個時段運行，每個時段2小時內(nèi)運行完。因此，必須使用計算性能卓越的高性能計算系統(tǒng)來進行并行計算。

• 通訊密集

  由于采用并行計算，因此各CPU間的通訊量很大。主要體現(xiàn)在WRF各計算域間的通訊及各類不同數(shù)據(jù)劃分間的通訊。因此，要求本高性能計算系統(tǒng)在具有高性能計算的同時，兼具高性能的通訊網(wǎng)絡。

• I/O要求高

  由于涉及大量的用戶和大量的小文件讀寫，氣象模式對整個系統(tǒng)的IOPS性能有較高要求，存儲系統(tǒng)的穩(wěn)定性和可用性對整個業(yè)務系統(tǒng)的運行至關(guān)重要，要求存儲系統(tǒng)具有故障自愈功能。另外，考慮到氣象數(shù)據(jù)的周期性訪問特點，需要支持基于策略的分級存儲功能。

• 模式系統(tǒng)集成化

  從軟件的處理流程上看，一般分為前處理、主模式和后處理。整個模式系統(tǒng)從前處理到主模式再到后處理，需要系統(tǒng)具有較高的穩(wěn)健性，所以優(yōu)秀的模式軟件應用專家支持、硬件級的系統(tǒng)技術(shù)支持，對預報模式的良好使用也是關(guān)鍵。

解決方案

藍海大腦依托接收的常規(guī)氣象觀探測資料、氣象衛(wèi)星資料、雷達資料、數(shù)值預報產(chǎn)品等多源數(shù)據(jù)，基于定量反演、機器學習、云計算、云存儲、大數(shù)據(jù)分析、 快速循環(huán)同化、虛擬現(xiàn)實等前沿技術(shù)，研發(fā)了具備多元化高性能算力、精準化短臨預報、一站多源數(shù)據(jù)融合及多樣化氣象服務等優(yōu)勢的氣象大數(shù)據(jù)平臺，面向整個氣象行業(yè)提供信息化系統(tǒng)頂層設(shè)計、 軟件研發(fā)應用、數(shù)據(jù)共享服務等，同時也向道路、航空、物流、農(nóng)業(yè)等行業(yè)領(lǐng)域開展針對性的精準氣象預報保障服務。

藍海大腦為滿足客戶需求，結(jié)合行業(yè)特點從計算節(jié)點、網(wǎng)絡、存儲、功耗、擴展、散熱等方面出發(fā)，提出完善的解決方案。

• 計算節(jié)點

  采用高性能英特爾酷睿系列處理器，計算節(jié)點采用雙路混搭方案。四路計算節(jié)點依靠其突出的計算能力與內(nèi)存容量，可在一臺機器上完成中小模式的處理分析，減少資料預處理、計算、分析的時間，提高計算效率。

• 高速網(wǎng)絡

  采用高性能專用高速IB網(wǎng)絡，將計算節(jié)點、管理節(jié)點、登錄節(jié)點全線速互聯(lián)，保證集群通訊網(wǎng)絡的高性能。并將NAS存儲通過萬兆連入高速網(wǎng)絡，配合集群并行文件系統(tǒng)，實現(xiàn)全部節(jié)點的數(shù)據(jù)共享。

• 存儲系統(tǒng)

  綜合以往存儲硬件解決方案，系統(tǒng)應用要求存儲設(shè)備具備的特點及藍海大腦在多年高性能計算領(lǐng)域的實施經(jīng)驗，充分滿足用戶現(xiàn)階段使用及未來擴展需求。

• 低功耗

  解決方案不僅強調(diào)整體運算效率，同時強調(diào)單位體積內(nèi)的計算能力以及單位能耗可提供的計算能力。

• 可擴展

  計算系統(tǒng)采用機架式服務器，既可保證節(jié)點內(nèi)的擴展性，又可保證整個集群的橫向擴展性。總體上，滿足用戶對未來集群的擴展需求。

• 液冷散熱

  藍海大腦液冷服務器 HD210 H系列突破傳統(tǒng)風冷散熱模式，采用風冷和液冷混合散熱模式——服務器內(nèi)主要熱源 CPU 利用液冷冷板進行冷卻，其余熱源仍采用風冷方式進行冷卻。通過這種混合制冷方式，可大幅提升服務器散熱效率，同時，降低主要熱源 CPU 散熱所耗電能，并增強服務器可靠性。經(jīng)檢測，采用液冷服務器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。

用戶收益

• 資源重新整合，實現(xiàn)更好的業(yè)務連續(xù)性

  通過應用的分區(qū)分域部署，顯著提高關(guān)鍵應用程序的性能、穩(wěn)定性和容量，從而更好的保障業(yè)務連續(xù)性。

• 氣象信息分發(fā)服務更高效

  幫助客戶建立更高效、及時的氣象信息分發(fā)服務，以減輕極端天氣事件對某省社會和經(jīng)濟結(jié)構(gòu)的影響。

• 數(shù)據(jù)安全性提升，人力投入降低

  整合后的架構(gòu)將加強災難恢復計劃，降低管理復雜性和成本，解放氣象局的團隊，使其專注于更具戰(zhàn)略性的任務。

• 運營敏捷性提升，快速響應資源請求

  穩(wěn)定、安全的新存儲，可有效地管理和保存大量雷達數(shù)據(jù)。統(tǒng)一的基礎(chǔ)架構(gòu)將有助于優(yōu)化運營敏捷性,使氣象局能夠快速響應開發(fā)團隊對資源的請求。

總結(jié)

以上是生活随笔為你收集整理的蓝海大脑高性能气象大数据平台为气象局掌握风云变幻提供助力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。