前言

? ? ? ? 上篇文章中講到，在智能電網(wǎng)的控制與管理側(cè)中，數(shù)據(jù)的分析和挖掘、可視化等工作屬于核心環(huán)節(jié)。除此之外，二次側(cè)中需要對數(shù)據(jù)進行采集，數(shù)據(jù)共享平臺的搭建顯然也涉及到數(shù)據(jù)的管理。那么在智能電網(wǎng)領(lǐng)域中，數(shù)據(jù)工程到底是如何實施的呢？

? ? ? ? 本文將以IBM的Itelligent Utility Network產(chǎn)品為例闡述智能電網(wǎng)中的數(shù)據(jù)工程，它是IBM聲稱傳統(tǒng)電網(wǎng)向智能電網(wǎng)轉(zhuǎn)變的整體方案（看過上篇文章的童鞋想必會清楚這樣的說法是片面狹隘的，它只能算是智能電網(wǎng)中的數(shù)據(jù)工程）。

? ? ? ? 另一方面，如今是一個數(shù)據(jù)爆炸的時代，電力領(lǐng)域也不例外。隨著大量高級傳感器、智能量測系統(tǒng)投入使用，大量的設(shè)備狀態(tài)數(shù)據(jù)、用戶用電數(shù)據(jù)、電網(wǎng)運營數(shù)據(jù)等被匯集到電網(wǎng)數(shù)據(jù)中心，這就需要先進大數(shù)據(jù)技術(shù)對這些海量數(shù)據(jù)進行實時分析，并實時挖掘出其潛在價值。

? ? ? ? 所幸目前已有不少大數(shù)據(jù)技術(shù)成功應(yīng)用到電網(wǎng)，促進了電網(wǎng)的智能化發(fā)展。本文也將重點分析兩個經(jīng)典大數(shù)據(jù)應(yīng)用案例，讓讀者品味電網(wǎng)領(lǐng)域中大數(shù)據(jù)的味道。

智能電網(wǎng)中的數(shù)據(jù)工程 -?Intelligent Utility Network@IBM

? ? ? ? Itelligent Utility Network是IBM公司提出的一個很不錯的智能電網(wǎng)數(shù)據(jù)工程方案，筆者認為IBM作為全球商用軟件巨頭，提出的這套方案質(zhì)量還是比較高的，起碼看起來像那么回事。當(dāng)然這款產(chǎn)品也只是IBM在智能電網(wǎng)領(lǐng)域的初期嘗試，隨著智能電網(wǎng)的迅速發(fā)展，IBM必然會推出更新更強大的數(shù)據(jù)產(chǎn)品。另外SAP、Oracle、華為、阿里等公司想必也不會放過這塊蛋糕，加入進來也應(yīng)該是遲早的事情。

? ? ? ? 接下來是該款產(chǎn)品的定義：Itelligent Utility Network首先利用傳感器對發(fā)電、輸電、配電、供電等關(guān)鍵設(shè)備的運行狀況進行監(jiān)控，其次將獲得的數(shù)據(jù)通過網(wǎng)絡(luò)系統(tǒng)進行收集、整合，最后通過對數(shù)據(jù)的分析、挖掘，達到對整個電力系統(tǒng)的優(yōu)化管理。顯然在IBM的眼里，智能電網(wǎng)的數(shù)據(jù)工程就是各種信息收集基礎(chǔ)設(shè)施(如傳感器)+中央數(shù)據(jù)分析運營平臺，以實現(xiàn)對電力客戶、電力資產(chǎn)、電力運營的持續(xù)監(jiān)視，進而提高電網(wǎng)公司的管理、工作水平。

? ? ? ? IBM認為智能電網(wǎng)數(shù)據(jù)工程主要分成以下五大組成部分：

? ? ? ? 1. 數(shù)據(jù)采集

? ? ? ? IBM認為智能電網(wǎng)中的數(shù)據(jù)相比傳統(tǒng)電網(wǎng)來源要更加廣泛，它主要分為三個部分：

? ? ? ? 其中，電網(wǎng)運行數(shù)據(jù)可用于電網(wǎng)調(diào)度中心制定輸電配電策略；設(shè)備狀態(tài)數(shù)據(jù)可用于開展設(shè)備狀態(tài)檢修和狀態(tài)評估；客戶計量數(shù)據(jù)能加強電網(wǎng)公司對用戶用電行為的檢測，強化需求側(cè)管理。管理好這些數(shù)據(jù)，就能實時掌握電網(wǎng)的運行狀態(tài)，及時地制定電力調(diào)度、設(shè)備維修等策略。

? ? ? ? 2. 數(shù)據(jù)傳輸

? ? ? ? 在數(shù)據(jù)采集方面，IBM認為智能電網(wǎng)中數(shù)據(jù)量大、采集點多且分散，且實時性要求較高。針對這種情況，應(yīng)當(dāng)摒棄現(xiàn)有基于SCADA的采集方式，改用基于IP的實時數(shù)據(jù)傳輸方式進行傳輸。PS.筆者前段時間去參加亞洲智能電網(wǎng)展的時候，看過不少公司專門負責(zé)做電網(wǎng)中的數(shù)據(jù)通信，不知這個模塊IBM是不是找其他公司來做的。

? ? ? ? 3. 數(shù)據(jù)集成

? ? ? ? 這個應(yīng)該算是IBM的老本行了，他們在世界各地都有開設(shè)些講座、研討會，有空可以去聽一聽了解下。在傳統(tǒng)數(shù)據(jù)集成這一塊，IBM做的是真的不錯。筆者過去在A公司工作的時候，主管就是來自IBM的，他對數(shù)據(jù)的思考非常獨到，非常犀利。

? ? ? ? 不扯遠了......針對電網(wǎng)中的數(shù)據(jù)集成，IBM提出了建立企業(yè)信息總線（ESB）以實現(xiàn)企業(yè)的數(shù)據(jù)集成：將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集成到統(tǒng)一數(shù)據(jù)倉庫里，底層建模遵照CIM標(biāo)準(zhǔn)。

? ? ? ? 4. 分析優(yōu)化

? ? ? ? 分析優(yōu)化環(huán)節(jié)顯然是最核心的環(huán)節(jié)，IBM提出將智能電網(wǎng)的優(yōu)化分為四個層次，建立了分析層次結(jié)構(gòu)，從而指導(dǎo)用戶對電力數(shù)據(jù)進行深層次利用。該部分涉及到很多電力系統(tǒng)的具體業(yè)務(wù)細節(jié)，本文篇幅所限不對此進行深入研究。但對于電網(wǎng)公司的數(shù)據(jù)工作人員，筆者認為應(yīng)該掌握、精通類似工具。

? ? ? ? 5. 數(shù)據(jù)展現(xiàn)

? ? ? ? 數(shù)據(jù)展現(xiàn)是智能電網(wǎng)面向用戶或者電網(wǎng)工作人員的接口，用戶/工作人員可根據(jù)自身需求配置需要展示的各種信息及可視化方式。

智能電網(wǎng)中的大數(shù)據(jù)技術(shù)體系

? ? ? ? 1. 工程框架

? ? ? ? 不論是電力領(lǐng)域的大數(shù)據(jù)，還是諸如運營商、電商等領(lǐng)域的大數(shù)據(jù)，其基本架構(gòu)都大抵相同：

? ? ? ? 最底層的業(yè)務(wù)系統(tǒng)層包含電網(wǎng)中各種不同類型的數(shù)據(jù)源；數(shù)據(jù)倉庫層用于實現(xiàn)ETL以及相應(yīng)的數(shù)據(jù)質(zhì)量保障工作，并對電力數(shù)據(jù)進行各種建模以滿足多種分析統(tǒng)計的需要；數(shù)據(jù)引擎層包含從上層應(yīng)用系統(tǒng)中提煉出的一些數(shù)據(jù)開發(fā)工作，常見的有數(shù)據(jù)分析引擎、數(shù)據(jù)挖掘引擎、數(shù)據(jù)可視化引擎、推薦引擎等等；應(yīng)用系統(tǒng)層則是面向用戶的系統(tǒng)，以網(wǎng)站或APP、專業(yè)客戶端等形式向用戶提供數(shù)據(jù)服務(wù)。

? ? ? ? 2. 關(guān)鍵技術(shù)

? ? ? ? 主要包含傳統(tǒng)的數(shù)據(jù)管理領(lǐng)域技術(shù)，以及當(dāng)今比較火熱的Hadoop/Spark生態(tài)圈提供的各種分布式數(shù)據(jù)分析、數(shù)據(jù)挖掘、推薦系統(tǒng)等工具。其中前者相關(guān)技術(shù)通常來說比較專有化，大都由類似IBM這樣的商用軟件公司負責(zé)，并不具備太多理論研究價值；后者則是這幾年大數(shù)據(jù)領(lǐng)域興起的產(chǎn)物，一般我們所說的電力大數(shù)據(jù)，都是和這些技術(shù)息息相關(guān)。有興趣的讀者可關(guān)注Hadoop、Spark生態(tài)圈，某種程度上來說，電力大數(shù)據(jù)就是這些技術(shù)在電力行業(yè)的應(yīng)用：

? ? ? ? 非常有趣的是，上述這兩類關(guān)鍵技術(shù)所代表的公司近幾年開始有了"融合"的趨勢。IBM等傳統(tǒng)數(shù)據(jù)領(lǐng)域巨頭開始擁抱Hadoop、Spark等開源工具，而一些大數(shù)據(jù)領(lǐng)域的巨頭公司，如阿里云，也開始注重其大數(shù)據(jù)平臺上的元數(shù)據(jù)管理，主數(shù)據(jù)管理，數(shù)據(jù)生命周期等傳統(tǒng)數(shù)據(jù)管理話題。相信不久以后就能看到他們碰撞的火花~(～o￣▽￣)～o

智能電網(wǎng)中的大數(shù)據(jù)案例：大電網(wǎng)中的居民用電負荷預(yù)測

? ? ? ? 對居民用電負荷做預(yù)測是電網(wǎng)公司的經(jīng)典需求，它能為電網(wǎng)調(diào)度中心提供決策支持，能指導(dǎo)發(fā)電廠給出指導(dǎo)意見，還有助于電力系統(tǒng)提升安全性和穩(wěn)定性：比如"重點關(guān)照"負荷較大區(qū)域的輸電設(shè)備和線路。這個需求也是現(xiàn)在大數(shù)據(jù)在電力行業(yè)應(yīng)用得較為成功的一個案例，目前應(yīng)該有很多乙方公司來做了，但具體的效果如何筆者還不是特別清楚，歡迎同行來和我交流探討。

? ? ? ? 該系統(tǒng)的總體思路是對每個用戶進行獨立預(yù)測，最后累加得到各區(qū)域或者電網(wǎng)總用電量，總體步驟如下圖：

? ? ? ? 1. 負荷曲線聚類分析

? ? ? ? 使用聚類技術(shù)將各用戶用電規(guī)律相近的負荷日期歸為一類。聚類的特征可設(shè)定為和用電有關(guān)的所有因素；聚類結(jié)束后，應(yīng)使用可視化的方式觀察不同簇內(nèi)的負荷曲線是不是長得比較像，不是的話請調(diào)整簇個數(shù)。

? ? ? ? PS.系統(tǒng)的研究對象是日負荷曲線而不是用戶，這點請讀者不要搞混。

? ? ? ? 2. 確立關(guān)鍵影響因素

? ? ? ? 采用關(guān)聯(lián)分析(如灰色關(guān)聯(lián)度)的方法確定對負荷影響最大的幾個因素。一般來說，氣溫、風(fēng)速、雨量等是對負荷的影響比較大。如何提取關(guān)鍵特征是數(shù)據(jù)挖掘領(lǐng)域一個比較熱門的話題，R語言、Ptyhon、Mahout、MLLib都應(yīng)該有封裝好的實現(xiàn)，讀者也可前往有關(guān)技術(shù)交流群和同行進一步交流探討，本文點到為止。

? ? ? ? 3. 建立分類訓(xùn)練集

? ? ? ? 這一步工作將基于1和2的結(jié)果產(chǎn)出后面用于預(yù)測負荷曲線所屬分類的訓(xùn)練集。新的訓(xùn)練集的特征是2中選中的關(guān)鍵特征，標(biāo)簽則是1中日期負荷曲線的聚類結(jié)果。

? ? ? ? 4. 將待預(yù)測日分類

? ? ? ? 提取待遇側(cè)日的關(guān)鍵特征，以3中構(gòu)建的新訓(xùn)練集為基礎(chǔ)進行分類，判斷出當(dāng)前負荷曲線所屬類別。好吧，讀者有沒有發(fā)現(xiàn)1-4的過程其實就是一個【無監(jiān)督在線分類學(xué)習(xí)】過程。

? ? ? ? 5. 訓(xùn)練預(yù)測模型并預(yù)測

? ? ? ? 選擇訓(xùn)練集中待預(yù)測日所屬分類(4中計算得出)的子集為新訓(xùn)練集，對待預(yù)測日的負荷進行回歸預(yù)測。可考慮采用線性回歸、SVR、GBDT等回歸算法，而特征依然選定為2中提取出的關(guān)鍵特征。

? ? ? ? 6. 計算電網(wǎng)負荷

? ? ? ? 利用Hadoop/Spark大數(shù)據(jù)平臺對所有用戶進行預(yù)測，并累加得到電網(wǎng)系統(tǒng)的負荷情況。至此，該系統(tǒng)就能預(yù)測出未來電網(wǎng)各區(qū)域，總區(qū)域的總用電負荷。

智能電網(wǎng)中的大數(shù)據(jù)案例：基于海量紅外圖像分析的電氣設(shè)備故障檢測

? ? ? ? 近些年來，越來越多的智能變電站采用智能機器人、無人機進行巡檢。這些巡檢設(shè)備通過高清攝像頭、紅外攝像頭等捕獲輸變電設(shè)備的可見光、紅外等設(shè)備檢測圖像。通過對設(shè)備紅外成像的分析，我們能獲知設(shè)備各區(qū)域的溫度情況，進而對設(shè)備故障進行分析。

? ? ? ? 用較為專業(yè)的話來說，該系統(tǒng)是"利用非接觸式的紅外熱成像儀實現(xiàn)電器設(shè)備的在線監(jiān)測，獲得實時的紅外圖像，并提取電氣設(shè)備典型溫度數(shù)據(jù)，在此基礎(chǔ)上建立電氣設(shè)備溫度的歷史和實時數(shù)據(jù)庫，再結(jié)合數(shù)據(jù)挖掘技術(shù)，最終建立電氣設(shè)備故障診斷與報警自動決策系統(tǒng)"。聽起來很流弊(☆ﾟ?ﾟ)。

? ? ? ? 其實該系統(tǒng)的總體架構(gòu)并不算很復(fù)雜，如下圖所示：

? ? ? ? 1. 將海量紅外圖像存放到HBase數(shù)據(jù)庫里。HBase是分布式的NoSQL數(shù)據(jù)庫，是Hadoop生態(tài)圈里的標(biāo)桿項目之一，有關(guān)它以及NoSQL數(shù)據(jù)庫介紹請讀者自行查閱有關(guān)資料。

? ? ? ? 2. 采用MapReduce的方式訪問該數(shù)據(jù)庫，以數(shù)據(jù)并行化的方式對各個圖像進行預(yù)處理。這一步將矩陣格式的圖像轉(zhuǎn)換為指定規(guī)則的向量，并對采用人工方式對其中一部分抽樣圖像打上標(biāo)簽(正常/故障0/故障1...)。

? ? ? ? 3. 最后采用神經(jīng)網(wǎng)絡(luò)或者SVM等算法對格式化后(未被標(biāo)記)的紅外圖像進行故障分類預(yù)測。相比于2，這一步的并行可以稱之為任務(wù)、或者計算并行。

小結(jié)

? ? ? ? 隨著科技的不斷進步，各種各樣的數(shù)據(jù)(傳感器數(shù)據(jù)、設(shè)備數(shù)據(jù)、用電數(shù)據(jù)、資產(chǎn)數(shù)據(jù)......)都將更快更準(zhǔn)地匯總到電網(wǎng)的數(shù)據(jù)中心，構(gòu)建電網(wǎng)新一代數(shù)據(jù)工程越來越迫切。說得通俗些，我們將散布在南方五省區(qū)域的所有數(shù)據(jù)匯集起來，形成資產(chǎn)化的管理，直觀地可視化分析，對大電網(wǎng)的一切了若指掌，這不是一件很有意義的事情嗎？

? ? ? ? 另一方面，大數(shù)據(jù)在電力行業(yè)的發(fā)展很有潛力。據(jù)筆者了解，除本文講到的兩個案例，目前電力大數(shù)據(jù)的應(yīng)用還有不少，如配電網(wǎng)低電壓預(yù)測、線損計算分析、乃至電力資產(chǎn)系統(tǒng)、語音投訴系統(tǒng)等。但由于一些傳統(tǒng)原因，應(yīng)用的深度遠遠不夠，電網(wǎng)距離"多指標(biāo)，自趨優(yōu)"的終極目標(biāo)也還很遠，同志們?nèi)皂毰Α?/span>

轉(zhuǎn)載于:https://www.cnblogs.com/muchen/p/5572159.html

總結(jié)

以上是生活随笔為你收集整理的第二篇：智能电网(Smart Grid)中的数据工程与大数据案例分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。