面向智能電網(wǎng)的電力大數(shù)據(jù)存儲(chǔ)與分析應(yīng)用

崔立真1, 史玉良1, 劉磊1, 趙卓峰2, 畢艷冰3

1. 山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 濟(jì)南 250101

2. 北方工業(yè)大學(xué)云計(jì)算研究中心，北京 100041

3. 國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司，北京 102211

摘要：闡述了智能電網(wǎng)面臨的挑戰(zhàn)以及大數(shù)據(jù)關(guān)鍵技術(shù)對(duì)電力行業(yè)的可持續(xù)發(fā)展和堅(jiān)強(qiáng)智能電網(wǎng)建立的重要意義。分別從智能電網(wǎng)主數(shù)據(jù)管理、用電信息統(tǒng)一存儲(chǔ)管理、電能質(zhì)量分析、配網(wǎng)運(yùn)營(yíng)能力分析等幾個(gè)典型大數(shù)據(jù)系統(tǒng)分析了大數(shù)據(jù)關(guān)鍵技術(shù)在智能電網(wǎng)中的應(yīng)用。

關(guān)鍵詞：智能電網(wǎng)；大數(shù)據(jù)；存儲(chǔ)；智能分析

doi:10.11959/j.issn.2096-0271.2017060

論文引用格式：崔立真, 史玉良, 劉磊, 等. 面向智能電網(wǎng)的電力大數(shù)據(jù)存儲(chǔ)與分析應(yīng)用[J]. 大數(shù)據(jù), 2017, 3(6): 42-54.

CUI L Z, SHI Y L, LIU L, et al. Applications of key technologies of storage and analysis in electric power big data for smart grid[J]. Big Data Research, 2017, 3(6): 42-54.

1? 引言

電力工業(yè)正朝著以物理電網(wǎng)為基礎(chǔ)的智能電網(wǎng)發(fā)展，我國(guó)物理電網(wǎng)是以特高壓電網(wǎng)為骨干網(wǎng)架，各電壓等級(jí)電網(wǎng)協(xié)調(diào)發(fā)展的堅(jiān)強(qiáng)電網(wǎng)為基礎(chǔ)，將現(xiàn)代先進(jìn)的傳感測(cè)量技術(shù)、通信技術(shù)、信息技術(shù)、計(jì)算機(jī)技術(shù)與物理電網(wǎng)高度集成而形成的新一代現(xiàn)代化電網(wǎng)。智能電網(wǎng)以充分滿足用戶對(duì)電力的需求和優(yōu)化資源配置，確保電力供應(yīng)的安全性、可靠性和經(jīng)濟(jì)性，滿足環(huán)保約束，保證電能質(zhì)量，適應(yīng)電力市場(chǎng)化發(fā)展等為目的，面向用戶提供可靠、經(jīng)濟(jì)、清潔、互動(dòng)的電力供應(yīng)和增值服務(wù)，提高電網(wǎng)的可靠、安全、經(jīng)濟(jì)、高效和環(huán)境友好等特性。

智能電網(wǎng)一般具有自愈、互動(dòng)、優(yōu)化、兼容以及集成等特點(diǎn)[1]，其“智能”主要體現(xiàn)在實(shí)時(shí)調(diào)度和管理、雙向信息流、新能源發(fā)電的智能接入。其中，實(shí)時(shí)調(diào)度和管理指的是對(duì)電網(wǎng)進(jìn)行實(shí)時(shí)的管理，在此基礎(chǔ)上進(jìn)行主動(dòng)的節(jié)能與增效，同時(shí)能夠?qū)Π踩[患進(jìn)行及時(shí)發(fā)現(xiàn)并且診斷和修復(fù)。雙向信息流指的是實(shí)現(xiàn)發(fā)電和用電的實(shí)時(shí)交互，從而對(duì)兩者進(jìn)行綜合調(diào)度，實(shí)現(xiàn)高設(shè)備利用率的目標(biāo)。以上特點(diǎn)以及目標(biāo)都是基于對(duì)電網(wǎng)的觀察和控制，為了實(shí)現(xiàn)對(duì)電網(wǎng)的觀察和控制，必須獲得電網(wǎng)全景實(shí)時(shí)數(shù)據(jù)。這些數(shù)據(jù)能夠反映系統(tǒng)的運(yùn)行狀態(tài)，系統(tǒng)能夠快速處理和分析這些數(shù)據(jù)，然后將其轉(zhuǎn)換成可以指導(dǎo)電網(wǎng)運(yùn)行的決策信息，從而實(shí)現(xiàn)對(duì)電網(wǎng)的智能管理和實(shí)時(shí)調(diào)度。

為了實(shí)現(xiàn)對(duì)電網(wǎng)的智能管理和實(shí)時(shí)調(diào)度的目標(biāo)，就必須在智能電網(wǎng)的發(fā)電、輸電、變電、配電和用電五大環(huán)節(jié)安裝大量的信息采集設(shè)備和信息管理系統(tǒng)。例如，在用電網(wǎng)中采用智能電表代替?zhèn)鹘y(tǒng)的老式機(jī)械電表，采集數(shù)據(jù)的頻率從15 min/次變?yōu)? s/次；在輸電網(wǎng)中需要采集各種開關(guān)信號(hào)量信息以及遙測(cè)信息，其刷新頻率也能達(dá)到1 s/次。在智能電網(wǎng)安裝這些信息采集設(shè)備和信息管理系統(tǒng)，對(duì)電網(wǎng)各個(gè)環(huán)節(jié)進(jìn)行實(shí)時(shí)而精確的監(jiān)控，必將在智能電網(wǎng)中產(chǎn)生大量的數(shù)據(jù)。這些在電網(wǎng)運(yùn)行和設(shè)備檢查、檢測(cè)過(guò)程中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)（從TB級(jí)逐漸增長(zhǎng)為PB級(jí)），使得電力行業(yè)也進(jìn)入大數(shù)據(jù)時(shí)代[2,3]。智能電網(wǎng)中的大數(shù)據(jù)具有典型的“4V”特征，即數(shù)據(jù)體量巨大（volume）、數(shù)據(jù)種類繁多（variety）、價(jià)值密度低（value）和處理速度快（velocity）[4]。利用智能電網(wǎng)中的大數(shù)據(jù)為電網(wǎng)的發(fā)展和運(yùn)行控制提供科學(xué)的決策，不僅是智能電網(wǎng)發(fā)展的迫切需求，也是實(shí)現(xiàn)智能電網(wǎng)堅(jiān)強(qiáng)、自愈、兼容、經(jīng)濟(jì)、集成、優(yōu)化的必由之路[5]。

電網(wǎng)業(yè)務(wù)數(shù)據(jù)大致可分為3類：電網(wǎng)運(yùn)行和設(shè)備檢測(cè)、實(shí)時(shí)狀態(tài)數(shù)據(jù)；電力企業(yè)營(yíng)銷數(shù)據(jù)；電力企業(yè)管理數(shù)據(jù)。其中，電力企業(yè)營(yíng)銷數(shù)據(jù)又包括交易電價(jià)、售電量、用電客戶等方面的數(shù)據(jù)[6]。隨著我國(guó)智能電網(wǎng)的建設(shè)越來(lái)越深入，大數(shù)據(jù)技術(shù)成為支撐智能電網(wǎng)安全運(yùn)行最重要的方法。為此，本文將從面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)存儲(chǔ)管理、智能分析的4個(gè)實(shí)例出發(fā)，闡述大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的具體應(yīng)用。

2 ?基于主數(shù)據(jù)管理的智能電網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心

在智能電網(wǎng)信息化和自動(dòng)化建設(shè)過(guò)程中，不同部門之間分散式地開發(fā)、運(yùn)行和管理信息系統(tǒng)，系統(tǒng)之間的信息無(wú)法互聯(lián)，造成“信息孤島”現(xiàn)象，帶來(lái)硬件冗余、數(shù)據(jù)多源、格式不一致等問(wèn)題，使不同電力企業(yè)單位及部門之間數(shù)據(jù)不能及時(shí)共享、訪問(wèn)、管理與分析挖掘的矛盾變得突出，難以制定企業(yè)級(jí)決策，增加了電力部門的運(yùn)營(yíng)成本，甚至造成與用戶之間的交流障礙[7]。數(shù)據(jù)融合與管理是智能電網(wǎng)大數(shù)據(jù)的應(yīng)用基礎(chǔ)。在電力行業(yè)，最早提出的電力系統(tǒng)公共信息模型（common information model,CIM）[8]系統(tǒng)性地描述了電力企業(yè)尤其是與電力運(yùn)行有關(guān)的所有主要對(duì)象，介紹了面向電力生產(chǎn)與電力交易全環(huán)節(jié)實(shí)體及關(guān)系的建模方法，并被國(guó)際電工委員會(huì)（International Electrotechnical Commission,IEC）釆納，成為IEC 61970、IEC 61968、IEC 61925 系列標(biāo)準(zhǔn)的一個(gè)重要組成部分[9]。目前已形成了國(guó)家電網(wǎng)公司公共數(shù)據(jù)模型（SG CIM）[10]等多個(gè)地區(qū)性、公司性私有模型，但是對(duì)于多領(lǐng)域的完整應(yīng)用架構(gòu)與系統(tǒng)調(diào)優(yōu)來(lái)說(shuō)，這些模型與拓展方法并不適用。

國(guó)家電網(wǎng)各業(yè)務(wù)條線信息系統(tǒng)建設(shè)和應(yīng)用的深入發(fā)展暴露出跨專業(yè)業(yè)務(wù)協(xié)同與信息共享不足，數(shù)據(jù)多頭輸入，數(shù)據(jù)反復(fù)抽取、冗余存儲(chǔ)、質(zhì)量不高等一系列問(wèn)題，對(duì)數(shù)據(jù)的準(zhǔn)確性、實(shí)時(shí)性等要求逐漸提高。為加快構(gòu)建全球能源互聯(lián)網(wǎng)，全面建成電網(wǎng)堅(jiān)強(qiáng)、資產(chǎn)優(yōu)良、服務(wù)優(yōu)質(zhì)、業(yè)績(jī)優(yōu)秀的現(xiàn)代公司，企業(yè)需提高全業(yè)務(wù)協(xié)同性和全流程貫通性，深入挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)用數(shù)據(jù)管理企業(yè)、用信息驅(qū)動(dòng)業(yè)務(wù)。數(shù)據(jù)是信息化的核心，建設(shè)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心[11]是源端全業(yè)務(wù)融合、后端大數(shù)據(jù)分析的必然選擇，對(duì)建設(shè)信息化企業(yè)具有重要意義。同時(shí)，大數(shù)據(jù)、云計(jì)算等新技術(shù)日趨成熟，為全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心的建設(shè)提供了技術(shù)保障。通過(guò)建設(shè)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心，實(shí)現(xiàn)對(duì)公司全業(yè)務(wù)數(shù)據(jù)資源的統(tǒng)一規(guī)劃、管理和使用，提高企業(yè)信息化水平，為公司開展跨專業(yè)數(shù)據(jù)綜合利用，實(shí)現(xiàn)用數(shù)據(jù)管理企業(yè)、用信息驅(qū)動(dòng)業(yè)務(wù)的目標(biāo)，奠定了堅(jiān)實(shí)基礎(chǔ)。

2.1 ?全業(yè)務(wù)統(tǒng)一數(shù)據(jù)管理架構(gòu)

從對(duì)基于主數(shù)據(jù)管理的現(xiàn)有數(shù)據(jù)中心的進(jìn)一步發(fā)展和完善的角度出發(fā)，本文提出一種全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心，主要包括數(shù)據(jù)處理分中心、數(shù)據(jù)分析分中心和數(shù)據(jù)管理分中心3部分，其總體架構(gòu)如圖1所示。

圖1 全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心總體架構(gòu)

2.2 ?數(shù)據(jù)處理分中心

數(shù)據(jù)處理分中心可對(duì)公司生產(chǎn)經(jīng)營(yíng)管理過(guò)程中各類業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲(chǔ)、處理和融合，是對(duì)原業(yè)務(wù)系統(tǒng)各個(gè)分散數(shù)據(jù)庫(kù)的歸并、發(fā)展與提升，為公司各業(yè)務(wù)應(yīng)用提供邏輯統(tǒng)一的數(shù)據(jù)支撐，使過(guò)去數(shù)據(jù)復(fù)制的業(yè)務(wù)集成方式向共享使用方式轉(zhuǎn)變，實(shí)現(xiàn)企業(yè)級(jí)端到端流程的真正貫通，同時(shí)解決系統(tǒng)之間數(shù)據(jù)集成及數(shù)據(jù)復(fù)制過(guò)程中存在的數(shù)據(jù)安全、效率低下和資源浪費(fèi)等問(wèn)題，逐步實(shí)現(xiàn)源端數(shù)據(jù)的干凈透明。數(shù)據(jù)處理分中心包括業(yè)務(wù)處理數(shù)據(jù)庫(kù)和統(tǒng)一數(shù)據(jù)訪問(wèn)服務(wù)兩部分，物理上實(shí)現(xiàn)兩級(jí)部署。遵循公司統(tǒng)一數(shù)據(jù)模型和數(shù)據(jù)架構(gòu)要求設(shè)計(jì)業(yè)務(wù)處理數(shù)據(jù)庫(kù)，按照業(yè)務(wù)主線對(duì)業(yè)務(wù)處理數(shù)據(jù)庫(kù)進(jìn)行合理劃分、部署。為了隔離應(yīng)用與數(shù)據(jù)庫(kù)的直接連接，構(gòu)建統(tǒng)一數(shù)據(jù)訪問(wèn)服務(wù)，為不同類型數(shù)據(jù)庫(kù)構(gòu)建統(tǒng)一接口提供靈活的訪問(wèn)權(quán)限管理、數(shù)據(jù)路由與調(diào)度能力，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管控。數(shù)據(jù)處理分中心目標(biāo)架構(gòu)如圖2所示。

圖2 數(shù)據(jù)處理分中心目標(biāo)架構(gòu)

2.3 ?數(shù)據(jù)分析分中心

數(shù)據(jù)分析分中心匯集了全業(yè)務(wù)、全類型、全時(shí)間維度的數(shù)據(jù)，可為公司各類分析決策應(yīng)用提供完備的數(shù)據(jù)資源、高效的分析計(jì)算能力及統(tǒng)一的運(yùn)行環(huán)境，改變過(guò)去需要反復(fù)抽取分析型應(yīng)用數(shù)據(jù)和數(shù)據(jù)冗余存儲(chǔ)的局面，由“搬數(shù)據(jù)”轉(zhuǎn)變?yōu)椤鞍嵊?jì)算”，促進(jìn)企業(yè)級(jí)數(shù)據(jù)分析應(yīng)用的全面開展。數(shù)據(jù)分析分中心依托企業(yè)級(jí)大數(shù)據(jù)平臺(tái)構(gòu)建，由統(tǒng)一存儲(chǔ)服務(wù)、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)和統(tǒng)一分析服務(wù)3部分組成，物理上兩級(jí)部署。統(tǒng)一存儲(chǔ)服務(wù)實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、采集監(jiān)測(cè)類數(shù)據(jù)和外部數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理。企業(yè)數(shù)據(jù)倉(cāng)庫(kù)支撐結(jié)構(gòu)化數(shù)據(jù)的抽取、清洗、存儲(chǔ)和多維分析模型的構(gòu)建，適用于多維分析應(yīng)用。統(tǒng)一分析服務(wù)為數(shù)據(jù)分析應(yīng)用提供計(jì)算能力和應(yīng)用構(gòu)建的支撐，具備高效、便捷訪問(wèn)數(shù)據(jù)分析分中心數(shù)據(jù)的能力。數(shù)據(jù)分析分中心目標(biāo)架構(gòu)如圖3所示。

圖3 數(shù)據(jù)分析分中心目標(biāo)架構(gòu)

2.4 ?數(shù)據(jù)管理分中心

數(shù)據(jù)管理分中心從企業(yè)業(yè)務(wù)全局出發(fā)，對(duì)企業(yè)數(shù)據(jù)的定義、存儲(chǔ)、訪問(wèn)等進(jìn)行統(tǒng)一規(guī)劃和管控，為全企業(yè)范圍內(nèi)數(shù)據(jù)的一致性、準(zhǔn)確性和可靠性提供保障，為企業(yè)內(nèi)跨專業(yè)、跨系統(tǒng)的數(shù)據(jù)集成與應(yīng)用提供有力的支持。數(shù)據(jù)管理分中心物理上一級(jí)部署、兩級(jí)應(yīng)用，以統(tǒng)一數(shù)據(jù)模型及主數(shù)據(jù)管理為建設(shè)核心。基于本體論的思想，可以將現(xiàn)實(shí)世界中的事物抽象為實(shí)體及實(shí)體之間的關(guān)系，主數(shù)據(jù)管理可以在此基礎(chǔ)上建立信息模型，實(shí)現(xiàn)數(shù)據(jù)含義的表達(dá)、共享與重現(xiàn)，利用信息技術(shù)對(duì)數(shù)據(jù)進(jìn)行加工處理，使數(shù)據(jù)之間建立交互關(guān)系，并轉(zhuǎn)化為能回答特定問(wèn)題的信息，對(duì)信息進(jìn)行概率統(tǒng)計(jì)、分類與數(shù)據(jù)挖掘，可進(jìn)一步形成有助于決策規(guī)劃和行動(dòng)指導(dǎo)的知識(shí)。通過(guò)對(duì)電力系統(tǒng)的公共信息模型（common information model,CIM）建模，得到系統(tǒng)中實(shí)體的抽象表示，它表述的對(duì)象及其關(guān)系構(gòu)成電力數(shù)據(jù)及相關(guān)外部數(shù)據(jù)的本體[12,13]。

3 ?基于MongoDB的用電信息大數(shù)據(jù)存儲(chǔ)技術(shù)

智能電網(wǎng)以電力數(shù)據(jù)的采集和存儲(chǔ)為基礎(chǔ)[4]，電力用戶數(shù)量和終端數(shù)量的快速增長(zhǎng)使用電數(shù)據(jù)成為典型的行業(yè)大數(shù)據(jù)[14]。用電數(shù)據(jù)具備大數(shù)據(jù)的規(guī)模大、種類多、要求處理速度快和價(jià)值密度低等特性[15]，為滿足大數(shù)據(jù)管理需求，以非關(guān)系型數(shù)據(jù)庫(kù)NoSQL為代表的大數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)運(yùn)而生，NoSQL技術(shù)的優(yōu)點(diǎn)包括非關(guān)系型、分布式數(shù)據(jù)存儲(chǔ)和可橫向擴(kuò)展等，一般分為：基于鍵值對(duì)存儲(chǔ)技術(shù)，如Redis、Voldemort 等；基于數(shù)據(jù)列分組存儲(chǔ)技術(shù)，如Cassandra、HBase等；基于文檔存儲(chǔ)技術(shù)，如CouchDB、MongoDB等；基于圖存儲(chǔ)，如Neo4J、InfoGrid等[16]。MongoDB[17-19]作為典型的面向文檔的數(shù)據(jù)庫(kù)，支持的數(shù)據(jù)結(jié)構(gòu)非常松散，因此可以存儲(chǔ)復(fù)雜的數(shù)據(jù)類型，保留了SQL一些友好的特性（如索引），另外還支持自動(dòng)分片、自動(dòng)故障轉(zhuǎn)移等功能。MongoDB的上述特性滿足了用電大數(shù)據(jù)對(duì)存儲(chǔ)容量、存儲(chǔ)速率等方面的要求，其自動(dòng)分片機(jī)制增強(qiáng)了集群水平擴(kuò)展能力[20]，可解決用電大數(shù)據(jù)基本的存儲(chǔ)問(wèn)題；MongoDB的高并發(fā)讀寫性能可實(shí)時(shí)緩存高速采集到的數(shù)據(jù)流，解決數(shù)據(jù)流到達(dá)速度與生產(chǎn)庫(kù)寫入速度不匹配的問(wèn)題；其自動(dòng)故障轉(zhuǎn)移機(jī)制為平臺(tái)的高可用性提供了有效保障；對(duì)于存儲(chǔ)模式靈活、時(shí)效性低且利用率相對(duì)較低的通信源幀、采集狀況等數(shù)據(jù)，可采用模式自由的鍵值對(duì)作為文檔存儲(chǔ)結(jié)構(gòu)，而對(duì)于存儲(chǔ)時(shí)效性高、利用率高的數(shù)據(jù)，可采用MongoDB內(nèi)置的分布式文件存儲(chǔ)結(jié)構(gòu)。

3.1 ?用電信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)架構(gòu)

用電信息采集系統(tǒng)對(duì)用電信息的自動(dòng)采集、計(jì)量異常和電能質(zhì)量監(jiān)測(cè)、用電分析和管理提供了技術(shù)支持。為適應(yīng)大規(guī)模用電信息數(shù)據(jù)的存儲(chǔ)要求，設(shè)計(jì)了一種具有高并發(fā)、高可靠性和高效存儲(chǔ)等特點(diǎn)的存儲(chǔ)架構(gòu)，加快數(shù)據(jù)訪問(wèn)速度，本節(jié)提出如圖4所示的面向用電信息大數(shù)據(jù)的存儲(chǔ)架構(gòu)，為實(shí)現(xiàn)用電信息的自動(dòng)采集、計(jì)量異常等功能，并適應(yīng)用電數(shù)據(jù)種類繁多的特點(diǎn)，將數(shù)據(jù)平臺(tái)劃分為前置通信平臺(tái)數(shù)據(jù)庫(kù)、生產(chǎn)數(shù)據(jù)庫(kù)和分析數(shù)據(jù)庫(kù)。

圖4 電力用戶用電信息采集系統(tǒng)邏輯架構(gòu)

3.2 ?采集數(shù)據(jù)的存儲(chǔ)過(guò)程

MongoDB能夠存儲(chǔ)并支持大數(shù)據(jù)集的部署和高并發(fā)吞吐量的操作，對(duì)數(shù)據(jù)的高效存儲(chǔ)便于實(shí)時(shí)、低時(shí)延地訪問(wèn)數(shù)據(jù)。本節(jié)介紹了基于面向用電信息大數(shù)據(jù)的存儲(chǔ)架構(gòu)對(duì)數(shù)據(jù)的存儲(chǔ)過(guò)程：前置通信平臺(tái)負(fù)責(zé)數(shù)據(jù)格式轉(zhuǎn)換，當(dāng)啟動(dòng)數(shù)據(jù)采集服務(wù)和數(shù)據(jù)處理單元時(shí)，從前置通信平臺(tái)關(guān)系數(shù)據(jù)庫(kù)加載檔案數(shù)據(jù)，用于數(shù)據(jù)幀解析和原始數(shù)據(jù)轉(zhuǎn)存。首先將原始的二進(jìn)制數(shù)據(jù)幀轉(zhuǎn)換為JSON （JavaScript object notation）[21]格式的數(shù)據(jù)，再進(jìn)一步轉(zhuǎn)換為業(yè)務(wù)數(shù)據(jù)，并存儲(chǔ)至應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)，如圖5所示。分布式存儲(chǔ)技術(shù)具有良好的可擴(kuò)展性，并對(duì)數(shù)據(jù)充分共享，有助于電力大數(shù)據(jù)的管理和存儲(chǔ)，綜合利用分布在各處的資源，能避免由于單個(gè)節(jié)點(diǎn)失效而使整個(gè)系統(tǒng)崩潰的情況出現(xiàn)。

圖5 前置通信平臺(tái)采集數(shù)據(jù)存儲(chǔ)

3.3 ?基于MongoDB私有云的電力大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)

3.3.1 ?存儲(chǔ)模式

作為一種分布式文檔存儲(chǔ)數(shù)據(jù)庫(kù)，MongDB可以存儲(chǔ)比較復(fù)雜的數(shù)據(jù)類型，本節(jié)提出通過(guò)對(duì)不同類型的采集數(shù)據(jù)采取不同的存儲(chǔ)方式來(lái)優(yōu)化大規(guī)模數(shù)據(jù)的存儲(chǔ)和查詢效率，采用多集群存儲(chǔ)方式提高數(shù)據(jù)讀寫速率。MongoDB的自動(dòng)分片機(jī)制支持集群擴(kuò)展，將9臺(tái)服務(wù)器組成一個(gè)MongoDB集群，3臺(tái)服務(wù)器提供路由服務(wù)，3臺(tái)服務(wù)器提供配置服務(wù)，另外包括由副本集構(gòu)成的3組數(shù)據(jù)分片。經(jīng)大量測(cè)試發(fā)現(xiàn)，路由服務(wù)和配置服務(wù)對(duì)內(nèi)存的依賴程度較低，因此可將路由服務(wù)和配置服務(wù)置于數(shù)據(jù)分片所在的服務(wù)器上，從而提高云資源的利用率。

3.3.2 ?分片負(fù)載均衡

MongoDB 的自動(dòng)分片機(jī)制促進(jìn)了分布式存儲(chǔ)的水平擴(kuò)展，均衡器在一定程度上確保了數(shù)據(jù)塊在每個(gè)分片上的均勻分布。MongoDB 將數(shù)據(jù)按用戶指定的分片鍵劃分為多個(gè)chunk（均衡器進(jìn)行數(shù)據(jù)遷移的基本單位），使用均衡器檢查各分片內(nèi)的chunk數(shù)，若擁有chunk最多的分片和擁有chunk最少的分片的chunk數(shù)之差超過(guò)某個(gè)閾值（例如8），均衡器則對(duì)這些不均勻的分片進(jìn)行遷移，將前者的chunk移至后者。僅考慮各分片內(nèi)chunk的數(shù)目無(wú)法從根本上解決云存儲(chǔ)數(shù)據(jù)訪問(wèn)的動(dòng)態(tài)均衡問(wèn)題，本文考慮分片所在數(shù)據(jù)節(jié)點(diǎn)負(fù)載差異，提出從數(shù)據(jù)量和負(fù)載兩方面對(duì)負(fù)載均衡進(jìn)行優(yōu)化，通過(guò)路由mongos獲取分片所在節(jié)點(diǎn)負(fù)載，考慮負(fù)載因素在遷移限制條件判斷、遷移源分片與目標(biāo)分片選取等環(huán)節(jié)帶來(lái)的影響。

3.3.3 ?讀寫分離

云存儲(chǔ)和副本集技術(shù)促進(jìn)了從副本對(duì)讀擴(kuò)展的適用。在從副本上執(zhí)行查詢請(qǐng)求時(shí)，會(huì)按實(shí)際負(fù)載情況均衡“讀寫請(qǐng)求”，增大數(shù)據(jù)吞吐量。采用響應(yīng)速度均衡策略執(zhí)行請(qǐng)求的從副本，向從副本發(fā)出探測(cè)請(qǐng)求，并將請(qǐng)求分發(fā)給最短時(shí)間內(nèi)給出響應(yīng)的從副本，以較準(zhǔn)確地反映節(jié)點(diǎn)的運(yùn)行狀態(tài)。

4 ?基于關(guān)聯(lián)分析的電網(wǎng)電能質(zhì)量監(jiān)測(cè)分析

目前，電能質(zhì)量干擾源的發(fā)展呈現(xiàn)多樣化、大容量、高電壓等趨勢(shì)。同時(shí)，由于大電網(wǎng)之間高度互聯(lián)，電能質(zhì)量擾動(dòng)的傳播和影響范圍增大。例如，2011年青藏直流發(fā)生了多起直流閉鎖事件，均是由700 km外的750 kV主變充電引起的[22]。電網(wǎng)電能質(zhì)量往往受多個(gè)動(dòng)態(tài)隨機(jī)干擾源的共同影響。傳統(tǒng)的仿真建模方法在電網(wǎng)范圍確定、參數(shù)獲取以及干擾源特征模擬等方面均存在較大困難，不利于分析電能質(zhì)量擾動(dòng)事件發(fā)生的具體原因。

面向電網(wǎng)擾動(dòng)事件的提取、定位和原因分析，本節(jié)提出了一種基于異常指標(biāo)關(guān)聯(lián)分析的電能質(zhì)量擾動(dòng)事件挖掘方法，通過(guò)挖掘頻繁共現(xiàn)的異常指標(biāo)組，形成能表征特定類型擾動(dòng)事件的特征集合，進(jìn)而發(fā)現(xiàn)電網(wǎng)中可能存在的電能質(zhì)量擾動(dòng)事件。

4.1 ?電能質(zhì)量監(jiān)測(cè)與分析方法流程

本文提出的電能質(zhì)量擾動(dòng)事件特征挖掘方法面向電網(wǎng)監(jiān)測(cè)點(diǎn)采集的電能質(zhì)量監(jiān)控指標(biāo)，在不依賴于特定業(yè)務(wù)背景和業(yè)務(wù)知識(shí)的情況下，通過(guò)識(shí)別和關(guān)聯(lián)電能質(zhì)量異常指標(biāo)來(lái)定位電能質(zhì)量擾動(dòng)事件。由于若干監(jiān)測(cè)點(diǎn)往往受到某個(gè)特定干擾源（如電鐵、光伏發(fā)電站、風(fēng)電站）的影響而產(chǎn)生電能質(zhì)量擾動(dòng)，本文提出的挖掘方法關(guān)注不同監(jiān)測(cè)點(diǎn)周期出現(xiàn)的具有相同特征的電能擾動(dòng)事件之間的關(guān)聯(lián)。

圖6給出了電能質(zhì)量監(jiān)測(cè)與分析方法的流程示意。首先，基于監(jiān)測(cè)點(diǎn)實(shí)時(shí)獲取的三相電壓電流提取分析電能質(zhì)量的監(jiān)測(cè)指標(biāo)；然后，根據(jù)電能質(zhì)量監(jiān)測(cè)指標(biāo)提取指標(biāo)異常數(shù)據(jù)，形成異常指標(biāo)時(shí)序數(shù)據(jù)；接著，基于異常指標(biāo)時(shí)序數(shù)據(jù)分析指標(biāo)間的關(guān)聯(lián)關(guān)系，形成一組擾動(dòng)事件特征的關(guān)聯(lián)指標(biāo)；最后，通過(guò)分析多個(gè)檢測(cè)點(diǎn)的空間分布情況和監(jiān)測(cè)點(diǎn)之間的關(guān)聯(lián)，過(guò)濾不相干的擾動(dòng)特征，提高擾動(dòng)特征的可用性。

圖6 電能質(zhì)量監(jiān)測(cè)與分析方法流程

4.2 ?異常指標(biāo)提取

本文提出通過(guò)監(jiān)測(cè)指標(biāo)數(shù)值的異常來(lái)定位電能質(zhì)量擾動(dòng)事件。公用電網(wǎng)對(duì)諧波的變化范圍進(jìn)行了規(guī)范，一般來(lái)講，可將超出規(guī)范范圍的指標(biāo)作為異常電能質(zhì)量指標(biāo)。然而，在實(shí)時(shí)獲取的電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)中，多數(shù)情況下并不存在超標(biāo)數(shù)據(jù)，導(dǎo)致可用于電能質(zhì)量分析的數(shù)據(jù)很少。事實(shí)上，監(jiān)測(cè)數(shù)據(jù)中存在大量數(shù)據(jù)孤立點(diǎn)，這些孤立點(diǎn)雖然沒有超標(biāo)，但是可以用于區(qū)別正常數(shù)據(jù)，因而可將這些數(shù)據(jù)孤立點(diǎn)作為分析電能質(zhì)量數(shù)據(jù)的異常電能質(zhì)量指標(biāo)。

電網(wǎng)某監(jiān)測(cè)點(diǎn)C功率因數(shù)的時(shí)間曲線如圖7所示。根據(jù)電能質(zhì)量公用電網(wǎng)諧波GB/T 14549 93規(guī)范，當(dāng)功率因數(shù)小于閾值0.9時(shí)，指標(biāo)異常。如圖7所示，實(shí)際數(shù)據(jù)中功率因數(shù)曲線始終高于0.9，而功率因數(shù)小于0.93的指標(biāo)數(shù)據(jù)極少，這些數(shù)據(jù)從一定程度上也可以用于異常指標(biāo)分析。因此從整體來(lái)看，選取0.93而非0.9作為閾值更為合適。

圖7 功率因數(shù)時(shí)間曲線

本文通過(guò)對(duì)指標(biāo)數(shù)據(jù)的數(shù)值分析來(lái)提取異常指標(biāo)，基本思想為：找出數(shù)據(jù)中分布稀疏的數(shù)值區(qū)間，并將這些數(shù)值區(qū)間的邊界作為判定指標(biāo)異常的閾值。一般來(lái)講，這些閾值為指標(biāo)數(shù)值的上下界。本文提取異常指標(biāo)的過(guò)程以指標(biāo)時(shí)序數(shù)據(jù)為輸入，選取異常指標(biāo)時(shí)序數(shù)據(jù)作為輸出。首先，計(jì)算每個(gè)監(jiān)測(cè)指標(biāo)數(shù)值的累計(jì)分布概率，以得到累計(jì)分布曲線；然后，計(jì)算該曲線拐點(diǎn)，以訓(xùn)練出該監(jiān)測(cè)指標(biāo)所屬區(qū)間的上下界；最后，將不在數(shù)值區(qū)間的時(shí)序數(shù)據(jù)定義為異常指標(biāo)數(shù)據(jù)，并輸出異常指標(biāo)時(shí)序數(shù)據(jù)。表1為應(yīng)用此提取異常指標(biāo)方法得到的一組異常指標(biāo)。

表1 異常指標(biāo)限值舉例

4.3 ?異常指標(biāo)關(guān)聯(lián)分析

某一個(gè)監(jiān)測(cè)指標(biāo)的異常可能由多個(gè)干擾源造成，而特定的干擾源也往往會(huì)導(dǎo)致多個(gè)檢測(cè)指標(biāo)出現(xiàn)異常，故通過(guò)單一監(jiān)測(cè)指標(biāo)異常無(wú)法直接定位擾動(dòng)事件及干擾源，本文考察異常指標(biāo)之間的關(guān)聯(lián)關(guān)系，將有關(guān)聯(lián)的若干異常指標(biāo)視為被同一個(gè)干擾源擾動(dòng)的結(jié)果，并將這些異常指標(biāo)視為電能質(zhì)量擾動(dòng)特征。

本文將一組同時(shí)出現(xiàn)異常的電能質(zhì)量監(jiān)測(cè)指標(biāo)視為一組電能質(zhì)量頻繁項(xiàng)，因此可以將電能質(zhì)量異常指標(biāo)的關(guān)聯(lián)分析定義為異常電能質(zhì)量監(jiān)測(cè)指標(biāo)的頻繁項(xiàng)挖掘問(wèn)題，并采用FP-Growth算法[23]挖掘頻繁項(xiàng)，圖8為異常指標(biāo)關(guān)聯(lián)分析示意，橫坐標(biāo)為異常指標(biāo)時(shí)序，縱坐標(biāo)為用于分析的異常指標(biāo)，指標(biāo)“電流有效值C相”和指標(biāo)“電流有效值A(chǔ)相”在t2、t3和t4時(shí)刻同時(shí)出現(xiàn)異常，因此可將這兩個(gè)指標(biāo)視為一組異常電能質(zhì)量監(jiān)測(cè)指標(biāo)的頻繁項(xiàng)。FP-Growth算法為數(shù)據(jù)挖掘領(lǐng)域的經(jīng)典算法，由于篇幅限制，本文不進(jìn)行詳細(xì)描述。

圖8 異常指標(biāo)關(guān)聯(lián)分析示意

5 ?基于大數(shù)據(jù)的配網(wǎng)運(yùn)營(yíng)能力業(yè)務(wù)模型

配電網(wǎng)直接面向終端用戶，是保障電力能源“落得下、配得出、用得上”的關(guān)鍵環(huán)節(jié)。但由于運(yùn)營(yíng)調(diào)配信息共享不足，管理協(xié)同不夠，無(wú)法及時(shí)判斷和定位配電故障，停電原因、停電范圍分析困難，故障搶修效率低，客戶投訴處理不及時(shí)等問(wèn)題，無(wú)法滿足國(guó)家電網(wǎng)公司提出的面向用戶提供優(yōu)質(zhì)服務(wù)的要求。如何利用大數(shù)據(jù)提高配網(wǎng)運(yùn)營(yíng)服務(wù)質(zhì)量和配網(wǎng)運(yùn)營(yíng)效能是實(shí)現(xiàn)配電網(wǎng)精益化管理的關(guān)鍵，研究如何利用大數(shù)據(jù)技術(shù)提升公司分析決策水平，對(duì)推動(dòng)電力行業(yè)有效、可持續(xù)發(fā)展具有重要的理論與現(xiàn)實(shí)意義。

本文通過(guò)對(duì)配網(wǎng)業(yè)務(wù)現(xiàn)狀進(jìn)行需求調(diào)研，提出了基于大數(shù)據(jù)的配網(wǎng)運(yùn)營(yíng)能力的業(yè)務(wù)架構(gòu)，對(duì)配網(wǎng)運(yùn)營(yíng)服務(wù)分析、運(yùn)營(yíng)效能分析兩大業(yè)務(wù)域進(jìn)行設(shè)計(jì)，完成終端運(yùn)行情況分析、配變負(fù)載情況分析、業(yè)擴(kuò)報(bào)裝流程分析、配網(wǎng)投入產(chǎn)出分析等10個(gè)業(yè)務(wù)主題的研究與設(shè)計(jì)，并在此基礎(chǔ)上實(shí)現(xiàn)基于大數(shù)據(jù)的配網(wǎng)運(yùn)行服務(wù)情況、客戶服務(wù)情況、配網(wǎng)項(xiàng)目全過(guò)程執(zhí)行效率、配網(wǎng)故障搶修效率、配網(wǎng)投入產(chǎn)出分析等方面的大數(shù)據(jù)應(yīng)用，挖掘國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)公司數(shù)據(jù)的潛在價(jià)值，實(shí)現(xiàn)其在戰(zhàn)略決策、業(yè)務(wù)應(yīng)用、管理模式等方面的創(chuàng)新[10]。配網(wǎng)運(yùn)營(yíng)在服務(wù)和效能兩個(gè)業(yè)務(wù)域的問(wèn)題及需求見表2。在配網(wǎng)運(yùn)營(yíng)服務(wù)大數(shù)據(jù)分析方面，主要可以提供終端運(yùn)行情況分析、配變負(fù)載情況分析、配網(wǎng)電壓情況分析、業(yè)擴(kuò)報(bào)裝流程分析、故障搶修流程分析、投訴舉報(bào)流程分析、用戶停電情況分析。在配網(wǎng)運(yùn)營(yíng)效能大數(shù)據(jù)分析方面，主要提供配網(wǎng)項(xiàng)目全過(guò)程執(zhí)行效率分析、配網(wǎng)故障搶修效率分析、配網(wǎng)投入產(chǎn)出分析。

表2 配網(wǎng)運(yùn)營(yíng)能力業(yè)務(wù)應(yīng)用需求梳理

6 ?結(jié)束語(yǔ)

本文給出了基于主數(shù)據(jù)的統(tǒng)一數(shù)據(jù)中心建設(shè)、用電信息的大數(shù)據(jù)存儲(chǔ)、電網(wǎng)智能監(jiān)測(cè)與分析、配網(wǎng)運(yùn)營(yíng)能力大數(shù)據(jù)分析等方面的幾個(gè)典型實(shí)例，討論如何利用大數(shù)據(jù)技術(shù)應(yīng)對(duì)智能電網(wǎng)挑戰(zhàn)，詳細(xì)介紹了典型智能電網(wǎng)應(yīng)用的大數(shù)據(jù)系統(tǒng)與關(guān)鍵技術(shù)以及基于大數(shù)據(jù)的配網(wǎng)運(yùn)營(yíng)能力業(yè)務(wù)模型。目前智能電網(wǎng)應(yīng)用發(fā)展趨勢(shì)猛烈，但是電力大數(shù)據(jù)在電力系統(tǒng)中的應(yīng)用才剛剛起步，因此結(jié)合大數(shù)據(jù)的技術(shù)優(yōu)勢(shì)和電力系統(tǒng)的應(yīng)用需求，發(fā)揮電力大數(shù)據(jù)的價(jià)值，增強(qiáng)“信息孤島”之間的互操作，將為智能電網(wǎng)的建設(shè)帶來(lái)新的發(fā)展契機(jī)。電力企業(yè)應(yīng)該牢牢抓住這個(gè)契機(jī)，積極與第三方大數(shù)據(jù)分析平臺(tái)廠商合作，從數(shù)據(jù)政策、人才培養(yǎng)、關(guān)鍵技術(shù)研發(fā)等層面最大化挖掘電力大數(shù)據(jù)的市場(chǎng)潛力，充分地挖掘電力大數(shù)據(jù)具有的資產(chǎn)價(jià)值，促進(jìn)企業(yè)未來(lái)的可持續(xù)發(fā)展。

點(diǎn)擊下方?閱讀原文?即可獲取全文

作　者　簡(jiǎn)　介

崔立真（1976-），男，博士，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授、博士生導(dǎo)師，主要研究方向?yàn)榇髷?shù)據(jù)科學(xué)與工程、智能數(shù)據(jù)分析與大圖深度學(xué)習(xí)、服務(wù)計(jì)算與協(xié)同計(jì)算等。

?

史玉良（1978-），男，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授、博士生導(dǎo)師，主要研究方向?yàn)樵朴?jì)算、大規(guī)模數(shù)據(jù)管理、隱私保護(hù)等。

?

劉磊（1981-），男，山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授、碩士生導(dǎo)師，主要研究方向?yàn)榫W(wǎng)絡(luò)性能工程、軟件定義網(wǎng)絡(luò)、網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)等。

?

趙卓峰（1977-），男，北方工業(yè)大學(xué)云計(jì)算研究中心副研究員、副主任，主要研究方向?yàn)樵朴?jì)算、海量感知數(shù)據(jù)處理、服務(wù)計(jì)算、智慧城市建設(shè)等。

?

畢艷冰（1980-），女，就職于國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司，主要研究方向?yàn)檐浖c數(shù)據(jù)工程、云計(jì)算數(shù)據(jù)管理、電力系統(tǒng)監(jiān)控和配電自動(dòng)化等。

?

《大數(shù)據(jù)》期刊

《大數(shù)據(jù)（Big?Data?Research，BDR）》雙月刊是由中華人民共和國(guó)工業(yè)和信息化部主管，人民郵電出版社主辦，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)學(xué)術(shù)指導(dǎo)，北京信通傳媒有限責(zé)任公司出版的科技期刊。

關(guān)注《大數(shù)據(jù)》期刊微信公眾號(hào)，獲取更多內(nèi)容

總結(jié)

以上是生活随笔為你收集整理的面向智能电网的电力大数据存储与分析应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。