受疫情影響，人工智能頂級學(xué)術(shù)會議 NeurIPS 2020 將通過線上的形式進(jìn)行。隨著會議召開時(shí)間臨近，該會議承辦的競賽也陸續(xù)揭曉結(jié)果。今年新增的電網(wǎng)調(diào)度競賽（Learning To Run a Power Network Challenge）共包含兩個(gè)賽道：魯棒能力賽道和泛化能力賽道，經(jīng)過三個(gè)月的激烈比拼，最終來自百度的 PARL 團(tuán)隊(duì)拿下全部兩個(gè)賽道的冠軍。同時(shí)，這也是該團(tuán)隊(duì)在 NeurIPS 上拿下的第三個(gè)強(qiáng)化學(xué)習(xí)賽事冠軍，實(shí)現(xiàn)三連冠的里程碑。

NeurIPS 2020 電網(wǎng)調(diào)度大賽主要是由 RTE（法國電網(wǎng)公司）、EPRI（美國電力研究協(xié)會）和 TenneT（德國-荷蘭電網(wǎng)公司）等能源企業(yè)聯(lián)合 INRIA（法國國家信息與自動化研究所）、谷歌研究、UCL 和卡塞爾大學(xué)等人工智能研究機(jī)構(gòu)共同舉辦。

賽事共吸引了來自全球的上百支隊(duì)伍，參賽選手中有來自各個(gè)地區(qū)的人工智能研究機(jī)構(gòu)，還有來自清華大學(xué)、國家電網(wǎng)北美研究院等機(jī)構(gòu)的電網(wǎng)領(lǐng)域?qū)＜摇１敬钨愂碌呐e辦主旨是探索強(qiáng)化學(xué)習(xí)在能源調(diào)度領(lǐng)域的應(yīng)用，希望結(jié)合強(qiáng)化學(xué)習(xí)技術(shù)實(shí)現(xiàn)電網(wǎng)傳輸?shù)淖詣踊刂?#xff0c;保障整個(gè)電網(wǎng)系統(tǒng)在各種突發(fā)狀況下都能穩(wěn)定運(yùn)行。?

PARL開源倉庫地址：

https://github.com/PaddlePaddle/PARL

?競賽任務(wù)?

電能是現(xiàn)代化的重要標(biāo)志之一，與我們每個(gè)人的日常生活息息相關(guān)。電網(wǎng)在不同地區(qū)，國家甚至大洲之間輸送電力，是配電的中堅(jiān)力量，通過向工業(yè)和消費(fèi)者提供可靠的電力來發(fā)揮重要的經(jīng)濟(jì)和社會作用。但由于受突發(fā)狀況、自然災(zāi)害和人為災(zāi)害等不確定性事件的影響，電網(wǎng)系統(tǒng)需要大量的監(jiān)控人員和電網(wǎng)專家，結(jié)合領(lǐng)域知識和歷史經(jīng)驗(yàn)，針對不同突發(fā)場景進(jìn)行干預(yù)和維護(hù)。

根據(jù)主辦方發(fā)布的競賽白皮書，電網(wǎng)系統(tǒng)平均每運(yùn)行一小時(shí)便需要實(shí)施人工干預(yù)操作，不然可能導(dǎo)致局部甚至整個(gè)城市的停電。電網(wǎng)調(diào)度競賽的目的便是探索AI在復(fù)雜的電網(wǎng)調(diào)度場景上的智能決策能力。

電網(wǎng)事故示例和電網(wǎng)控制室

本次電網(wǎng)調(diào)度競賽的總體任務(wù)目標(biāo)是維持整個(gè)電網(wǎng)仿真系統(tǒng)的供需平衡，并應(yīng)對各種突發(fā)事件。在電網(wǎng)仿真環(huán)境運(yùn)行的每一個(gè)時(shí)刻，參賽選手需要根據(jù)觀測到的電網(wǎng)狀態(tài)（供電/用電數(shù)據(jù)、電網(wǎng)拓?fù)浣Y(jié)構(gòu)和電線負(fù)載等信息），選擇合適的動作（包括變電站拓?fù)湫薷暮桶l(fā)電廠發(fā)電功率修改等）來保持電網(wǎng)的穩(wěn)定運(yùn)行。

NeurIPS 2020 舉辦的電網(wǎng)調(diào)度賽事相比前兩屆的電網(wǎng)調(diào)度賽事具有更大的挑戰(zhàn)難度，不僅電網(wǎng)規(guī)模更大，動作空間也更復(fù)雜，而且根據(jù)電網(wǎng)的真實(shí)場景，分別設(shè)置了更具有現(xiàn)實(shí)意義的魯棒性（Robustness）和適應(yīng)性（Adaptability）兩個(gè)挑戰(zhàn)賽道。兩個(gè)賽道的設(shè)置分別如下：

• Track1（賽道一）：采用中型電網(wǎng)（相當(dāng)于三分之一的美國中西部電網(wǎng)），離散動作空間數(shù)量有 6 萬多個(gè)。該賽道中，每天電網(wǎng)的不同線路會因隨機(jī)的攻擊而斷開，以此模擬現(xiàn)實(shí)生活中電網(wǎng)系統(tǒng)受到不可預(yù)期的事故（例如被閃電擊中），對決策系統(tǒng)在各種突發(fā)事件下的魯棒性而言，是個(gè)很大的挑戰(zhàn)。
  

• Track2（賽道二）：采用大型電網(wǎng)（相當(dāng)于整個(gè)美國中西部電網(wǎng)），離散動作空間數(shù)量高達(dá)?7 萬多個(gè)。該賽道中，發(fā)電廠的可再生能源比例是動態(tài)變化的（比如風(fēng)能在夏季發(fā)電效率高，冬季則下降），為了保持整個(gè)電網(wǎng)的供需平衡，這個(gè)賽道對決策系統(tǒng)在不同能源比例下的自動適應(yīng)能力有很高的要求。

電網(wǎng)調(diào)度系列賽事

?競賽結(jié)果?

從官方榜單中可以看到，百度 PARL 團(tuán)隊(duì)拿下了兩個(gè)賽道的冠軍，在比賽階段的公榜以及評估階段的私榜上都名列第一，體現(xiàn)了強(qiáng)大的技術(shù)能力，以及針對實(shí)際場景的技術(shù)實(shí)用性。

百度PARL拿下電網(wǎng)調(diào)度大賽雙料冠軍

?冠軍方案：

?融合專家知識的大規(guī)模進(jìn)化神經(jīng)網(wǎng)絡(luò)?

在參賽過程中，百度 PARL 團(tuán)隊(duì)注意到專家系統(tǒng)方案以及純強(qiáng)化學(xué)習(xí)方案很難解決這次的挑戰(zhàn)。傳統(tǒng)的專家系統(tǒng)解決方案主要是利用專家先驗(yàn)知識進(jìn)行候選動作的篩選，然后根據(jù)電網(wǎng)系統(tǒng)的預(yù)仿真（simulate）功能來評估不同動作給電網(wǎng)系統(tǒng)帶來的影響，這種方案需要有一定的專家經(jīng)驗(yàn)，并且存在搜索耗時(shí)長和無法考慮長遠(yuǎn)收益等缺點(diǎn)。

純強(qiáng)化學(xué)習(xí)方案雖然可以考慮長遠(yuǎn)收益，但在大規(guī)模電網(wǎng)調(diào)度場景中，動作空間復(fù)雜，電網(wǎng)系統(tǒng)運(yùn)行過程中不確定性大，這個(gè)方案存在探索難度大和價(jià)值函數(shù)訓(xùn)練方差大等問題，很難在數(shù)萬個(gè)候選動作中直接選擇一個(gè)最優(yōu)動作。?

百度 PARL 團(tuán)隊(duì)提出了一種融合專家系統(tǒng)和強(qiáng)化學(xué)習(xí)兩者優(yōu)點(diǎn)的解決方案：融合專家知識的大規(guī)模進(jìn)化神經(jīng)網(wǎng)絡(luò)，該方案首先采用模仿學(xué)習(xí)（Imitation learning）來學(xué)習(xí)專家知識，得到一個(gè)用神經(jīng)網(wǎng)絡(luò)表示的策略之后，通過進(jìn)化算法迭代這個(gè)策略。

需要注意的是，一般強(qiáng)化學(xué)習(xí)算法是每次采樣一個(gè)動作然后根據(jù)反饋（reward）進(jìn)行更新，在該方案的進(jìn)化算法中，每次會采樣多個(gè)動作（動作組合）進(jìn)行優(yōu)化。當(dāng)選出動作組合之后，后續(xù)的策略依然可以拼接多種專家經(jīng)驗(yàn)，選出更優(yōu)的動作。得益于進(jìn)化算法的黑盒優(yōu)化特點(diǎn)，整個(gè)策略可以直接把電網(wǎng)平穩(wěn)運(yùn)行時(shí)長作為反饋來更新策略。這個(gè)解決方案不僅可以克服強(qiáng)化學(xué)習(xí)選擇單一動作風(fēng)險(xiǎn)高的問題，還可以考慮電網(wǎng)系統(tǒng)的長期獎勵，有利于尋找維持電網(wǎng)系統(tǒng)穩(wěn)定運(yùn)行的最優(yōu)解。

大規(guī)模進(jìn)化算法圖示

在大規(guī)模進(jìn)化訓(xùn)練過程中，百度利用 PARL 高性能并行框架同時(shí)在上千 CPU 上對近 500 萬參數(shù)的較大規(guī)模神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)化學(xué)習(xí)。在此過程中，需要先對網(wǎng)絡(luò)參數(shù)進(jìn)行不同的高斯噪聲擾動，然后將擾動后網(wǎng)絡(luò)作為專家系統(tǒng)新的動作打分模型，分別和電網(wǎng)系統(tǒng)進(jìn)行交互，并計(jì)算噪聲擾動后網(wǎng)絡(luò)相比原始網(wǎng)絡(luò)在電網(wǎng)系統(tǒng)中的平穩(wěn)運(yùn)行時(shí)長增益，作為該采樣噪聲的獎勵 R；最后，整合不同噪聲方向的獎勵來決定下一輪網(wǎng)絡(luò)參數(shù)的進(jìn)化方向。

據(jù)悉，一個(gè)這樣的電網(wǎng)調(diào)度打分模型需要進(jìn)行 60 萬個(gè) episode 迭代, 合計(jì)總的電網(wǎng)模擬時(shí)長一萬多年，包含 10 億多步探索。而這些僅僅需要 10 個(gè)小時(shí)左右的時(shí)間就能完成。?

?奪冠背后：飛槳強(qiáng)化學(xué)習(xí)框架PARL加持?

PARL 是基于百度飛槳深度學(xué)習(xí)平臺（PaddlePaddle）自主研發(fā)的強(qiáng)化學(xué)習(xí)框架，匯聚了百度多年來在強(qiáng)化學(xué)習(xí)領(lǐng)域的技術(shù)深耕和產(chǎn)品應(yīng)用經(jīng)驗(yàn)。PARL 采用模塊式的編碼設(shè)計(jì)，已復(fù)現(xiàn)的算法覆蓋了包括 Multi-gent、Model-based、Evolution Strategy 和 Distributed RL 等不同方向的主流強(qiáng)化學(xué)習(xí)算法。

除了強(qiáng)可擴(kuò)展性和高質(zhì)量算法復(fù)現(xiàn)，PARL 框架更提供了高性能且便捷靈活的并行支持能力。開發(fā)者只需要通過數(shù)行代碼和命令就能搭建起集群，并行調(diào)度資源，低成本地實(shí)現(xiàn)數(shù)百倍的性能加速。正是基于這樣的能力，PARL 團(tuán)隊(duì)連續(xù)拿下了 NeurIPS 2018/2019 仿生人 Learning To Run 挑戰(zhàn)和 NeurIPS 2020 L2RPN 挑戰(zhàn)三連冠。

PARL框架概覽

據(jù)悉，PARL 框架已經(jīng)應(yīng)用在信息流推薦、智能打車、智能機(jī)器人等多個(gè)行業(yè)領(lǐng)域，也將致力于把強(qiáng)化學(xué)習(xí)運(yùn)用在能源調(diào)度、供應(yīng)鏈和交通等更多場景，將強(qiáng)化學(xué)習(xí)獨(dú)有的決策能力賦予到各行各業(yè)。

開源鏈接：

https://github.com/PaddlePaddle/PARL

競賽地址：

https://l2rpn.chalearn.org/competitions

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的三连冠！百度PARL 拿下NeurIPS 2020电网调度竞赛双赛道冠军的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。