如何保障數據中心的穩(wěn)定運行，是多年來一直困擾業(yè)界的難題。機房環(huán)境如果發(fā)生未預期變化，可能造成難以估計的損失。所以我們希望能構建一個“變更沙盤”，在真實變更之前，操作人員可以先在沙盤中進行試變更，若變更效果在預期內，再對真實環(huán)境進行變更，從而盡可能減少變更導致的機房故障。

近期，阿里巴巴-南大聯合研究院聯合實現并上線完成了一個高精度，可連接實時監(jiān)控系統、基于CFD的變更沙盤系統。本系統在off-the-shelf CFD軟件上實現了工業(yè)級精度的變更沙盤測試和驗證。今天，我們就來觀摩這個從零到一的嘗試。

項目背景

隨著阿里巴巴業(yè)務不斷拓展，其數據中心規(guī)模也越來越大。相應地，數據中心內的日常演練、運營優(yōu)化等變更操作越來越頻繁；而規(guī)模增加導致環(huán)境的復雜程度呈指數增長，變更是否可能導致故障，僅憑專家經驗，已經越來越難以判斷。同時，數據中心變更故障可能造成的業(yè)務影響也越來越大，可能造成的損失已難以估計。所以，機房運營人員急需一個標準化的、可靠的機房變更安全驗證系統，幫助他們獲知變更產生的具體效果會是如何，是否影響生產安全，是否有更合理的變更建議。

對于電力變更，可以從電力拓撲圖著手構建變更沙盤。但暖通變更，涉及到氣流組織變化、熱力變化，這些東西看不見也摸不著，傳統的方式難以模擬出現實世界中的變化。IDC運營優(yōu)化團隊對此進行了一系列調研工作，認為利用計算流體力學（ComputationalFluid Dynamics，簡稱CFD）進行機房仿真是較為可能達到生產標準的一種方式。

現有的類似的解決方案

利用計算流體力學（Computational Fluid Dynamics，簡稱CFD）進行機房仿真是檢查不同變更對機房的熱力學影響的通用解決方案。CFD建模可以通過搭建物理模型，載入現實中的熱力學設置（冷熱量，空調server風速等）來計算一個包間內部的氣流分布和溫度情況。CFD模擬有較為成熟的技術積累，并被廣泛應用與熱力學和空氣動力學領域。在數據中心領域，也有從包間到芯片級的CFD模擬應用。但由于其精度限制，一般只用于前期設計和規(guī)劃。

應用CFD建立沙盤系統的挑戰(zhàn)：

1）現有商業(yè)CFD軟件可以根據對包間進行仿真，得到機房的熱力分布、氣流動向。但該軟件通常應用于設計階段，采用設計階段的粗略數據進行模擬，對真實操作情況的還原度較低，溫度預測精度僅能達到3度或以上，不能滿足用于變更沙盤的精度需求。

2）當前CFD軟件以人工交互為主，缺少對自動化操作的支持，不能滿足自動獲取數據和返回結果的需求。大量的操作只能通過人機交互進行，效率低下。

3）建模所需要的數據真實性問題。由于模型的準確性與其所采用的模擬設置與實際是否一致息息相關，因此獲取的模擬設置信息（如功耗，空調設置信息等）準確性非常關鍵。通常這些信息是在設計階段確定的，也有部分是運行時獲得的。這些數據只有進行精細的核實才能保證建模的精度（反過來建模的過程可以反推設計實施情況和數據的標準化過程）。

我們的解決方案

阿里巴巴聯合新加坡南洋理工大學（NTU）計算機科學與工程學院文勇剛教授團隊，依托阿里巴巴-南大聯合研究院平臺，通過接近1年的研究，開發(fā)和測試，實現并上線完成了一個高精度，可連接實時監(jiān)控系統的基于CFD的變更沙盤系統。本系統在off-the-shelf CFD軟件上實現了工業(yè)級精度的變更沙盤測試和驗證。

本次項目選定了某個機房包間作為技術試點，并在對該機房的物理建模，模型校準和工程落地上進行了緊密合作。

1）物理建模：

該過程主要將包間內各物理結構設置到模型，提供仿真基礎。以達到最好還原度為準則，我們實現了下面所述方面的建模操作：

結構建模：對機房結構、墻、通風口、天花板、管道進行設置

IT部署建模：機列、機柜、機位設置

環(huán)境建模：空調設備、傳感器設置

設備建模：按廠商型號導入服務器模型

2）模型校準

模型校準的主要原則需要達到下述3個方面的真實還原：

機房冷熱溫度來源：校準中需要確認模型中冷熱量與實際一致。

機房氣流變化原因：校準中需要保證冷熱風氣流與實際一致。

溫度測量數據：校準中需要保證模型預測溫度與實際一致。

為了保證模型可以到工業(yè)級精度，項目團隊進行了大量的數據核準和模型調整工作。這些工作全方位地對整個機房的相關信息和設置進行了梳理和核實，并形成了完整的標準化校準文檔，為以后建模推廣打下了堅實的基礎。這些校準操作可以分為2類：

第1類：數據核準

服務器核準（包含：少數服務器U位沖突、服務器功耗校準）

傳感器核準（包含：空調供風溫度、轉速和冷熱通道傳感器位置、數據）

第2類：模型調整

熱氣泄露設置調整，熱氣泄露會導致冷通道溫度升高。

機柜模擬模式調整，設置為細粒度模擬模式。

Server風量設置調整，精確設置server風速以符合實際需求。

依托大量的傳感器數據，通過上述校準操作，最終模型達到了設計階段CFD使用未有過的精度。這些精度來源于我們精確地還原各項硬件的布置，各個操作的數據核準和細粒度的server風速校準。

3）工程落地

如圖所示為沙盤系統的流程圖。在模型達到預期精度后，團隊進一步解決了CFD模擬的自動化問題。通過接入阿里巴巴自研的數據中心實時監(jiān)控系統（DCIM），我們獲取到實時的服務器功耗、空調出風溫度和風機轉速等數據，通過6Sigma開放SDK將數據寫入CFD模型，從而使得模型能夠實時模擬包間內真實情況。此外，一旦仿真計算完成后，我們將計算結果從模型中導出，回傳到監(jiān)控系統，從而完成一次仿真計算的閉環(huán)。

如此，我們實現了將沙盤系統整合進入DCIM系統，并且全程操作可以自動化進行，為將來沙盤系統的應用和推廣打下了堅實基礎。

最終成果：

1）精度達標：模型采用真實的監(jiān)控數據作為輸入，并計算模擬的目標傳感器測溫與實際的傳感器測溫之間的平均絕對誤差（MAE）來作為模型的準確性的測量依據。經過長時間觀察（采用不同時刻的數據進行驗證），模型模擬精度均能達到阿里巴巴數據中心建設標準要求。理論上可以替代冷熱通道傳感器，進行數據中心生產包間環(huán)境監(jiān)控。

2）成功落地：目前該模型已經成功接入DCIM系統，可以自動從DCIM中抓取數據，返回結果。當前模擬的時耗為大約1小時，通過升級6Sigma License規(guī)格未來有希望提升到10分鐘。接入該實時CFD模擬系統意味著阿里自研DCIM系統成為世界上唯一有高精度實時CFD模擬模塊的數據中心云維管理系統。

變更沙盤系統的價值

包間可視化：由原來的2D、數字的方式，升級為3D、圖形數字結合的展現方式，包括實際布局、熱力情況、氣流情況，從而可以讓機房經理與設施專家能更直觀、全面、迅速地了解機房的整體情況，更快發(fā)現包間暖通環(huán)境問題，輔助優(yōu)化現場供冷分配與氣流組織。

故障發(fā)現：可以厘米級別監(jiān)測包間內的溫度，快速發(fā)現溫升（局部熱點），從而具備更快、更強的風險識別能力，防止出現大范圍的機房溫升事件。

設計驗證：建模過程所需要的物理設置信息通常決定于設計階段。建模過程中得到的誤差反饋信息可以直接驗證設計與實施的差別。

設計優(yōu)化（變更指引）：沙盤系統可以模擬不同設計下數據中心的操作情況，從而可以用于設計上的優(yōu)化和數據中心變更的先驗平臺。

暖通控制推薦：可以通過嘗試不同空調設置應用到當前環(huán)境，得到溫度控制最佳、能耗最低的空調設置，實現包間內供冷可靠、智能的控制。

業(yè)務調度推薦：根據詳細的機房溫度分布情況，結合功耗水位數據，可以向業(yè)務調度系統提供調度參考，使得業(yè)務分布更均勻，機房溫度分布也更加均勻，降低制冷能耗，提升服務器健康度。

未來展望

未來合作的方向之一是對變更沙盤系統進行產業(yè)級推廣和驗證，目標是做出業(yè)界標準。使得變更沙盤系統可以應用與阿里數據中心的更多機房，去驗證設計和優(yōu)化管理控制。

未來，我們希望將系統沙盤推廣到整個暖通系統，覆蓋到機房外的制冷設備，實現全鏈條模擬。從而實現整個制冷系統的設計驗證和控制優(yōu)化。

綜上，變更沙盤系統將可以顯著促進數據中心設計到運維的自動化水平，為實現更穩(wěn)定更高效的數據中心運維提供支撐。這是一次從零到一的嘗試，我們構建了第一個可實時的、高精度的暖通變更系統，幫助數據中心運維人員能夠判斷一次變更是否可能造成故障，從而減少由變更導致的故障。進一步，我們可以給出具體的變更后環(huán)境變化，給出變更建議，甚至能夠實現自動變更。如此，我們將離機房無人值守的目標越來越近。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的如何“神还原”数据中心？ 阿里联合NTU打造了工业级精度的仿真沙盘！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。