Deep Reinforcement Learning Method for Dynamic Load Restoration of Resilient Distribution Systems

Yuxiong HUANG; Gengfeng LI; Liyin ZHANG; Zhaohong BIE

doi:10.7500/AEPS20210607005

您当前的位置：

首页 >

文章列表页 >

Deep Reinforcement Learning Method for Dynamic Load Restoration of Resilient Distribution Systems

Basic Research | 更新时间：2025-06-16

- Deep Reinforcement Learning Method for Dynamic Load Restoration of Resilient Distribution Systems
- Automation of Electric Power Systems Vol. 46, Issue 8, Pages: 68-78(2022)
- 作者机构：
  
  西安交通大学电气工程学院，陕西省西安市 710049
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(SGJX0000KXJS1900322)
- DOI：10.7500/AEPS20210607005
  CLC：
- Received：07 June 2021，
  
  Revised：2021-11-08，
  
  Published Online：24 February 2022，
  
  Published：25 April 2022
- 稿件说明：
移动端阅览
黄玉雄,李更丰,张理寅等.弹性配电系统动态负荷恢复的深度强化学习方法[J].电力系统自动化,2022,46(8):68-78.

HUANG Yuxiong,LI Gengfeng,ZHANG Liyin,et al.Deep Reinforcement Learning Method for Dynamic Load Restoration of Resilient Distribution Systems[J].Automation of Electric Power Systems,2022,46(8):68-78.
黄玉雄,李更丰,张理寅等.弹性配电系统动态负荷恢复的深度强化学习方法[J].电力系统自动化,2022,46(8):68-78. DOI： 10.7500/AEPS20210607005.

HUANG Yuxiong,LI Gengfeng,ZHANG Liyin,et al.Deep Reinforcement Learning Method for Dynamic Load Restoration of Resilient Distribution Systems[J].Automation of Electric Power Systems,2022,46(8):68-78. DOI： 10.7500/AEPS20210607005.

摘要

极端事件下，合理利用微网盈余电力供应配电系统中的关键负荷，可有效提升电网弹性。基于深度强化学习(DRL)技术，提出一种考虑微网参与的配电系统动态关键负荷恢复（DCLR）方法，支持以无模型的方式求解复杂问题，以提升在线计算效率。首先，分析含微网的配电系统DCLR问题，并在此基础上构建其马尔可夫决策过程，其中考虑了配电系统运行、微网运行和用户满意度等约束条件。其次，基于OpenDSS构建DCLR模拟环境，形成DRL应用所需的智能体-环境交互接口，进一步采用深度Q网络算法搜寻关键负荷恢复的最优控制策略，并定义收敛性、决策能力指标分别用于评价智能体的训练和应用表现。最后，基于改进的IEEE测试系统验证了所提方法的有效性。

Abstract

In extreme events

it can effectively enhance the grid resilience by using surplus power of microgrids to serve the critical loads in distribution systems. Based on the deep reinforcement learning (DRL) technique

considering the participation of microgrids

a dynamic critical load restoration (DCLR) method of distribution systems is proposed to support the model-free manner to solve the complex problems

significantly improving the online computational efficiency. Firstly

the DCLR problem of distribution systems with microgrids is analyzed. On this basis

its Markov decision process (MDP) is formulated considering the complex operational constraints

including the distribution operation constraints

microgrid operation constraints

customer satisfaction degree

etc. Secondly

a DCLR simulation environment is built based on OpenDSS as the agent-environment interface for applying DRL algorithms. Furthermore

a deep Q-network algorithm is adopted to search for the optimal policies of the critical load restoration. The convergence and decision-making ability indices are defined to measure the performance of the agents in training and application processes

respectively. Based on the two modified IEEE test systems

the effectiveness of the proposed method is verified.

关键词

Keywords

references

BENNETT J A ， TREVISAN C N ， DECAROLIS J F ， et al . Extending energy system modelling to include extreme weather risks and application to hurricane events in Puerto Rico ［J］. Nature Energy ， 2021 ， 6 （ 3 ）： 240 - 249 .

别朝红，林雁翎，邱爱慈 . 弹性电网及其恢复力的基本概念与研究展望［J］. 电力系统自动化， 2015 ， 39 （ 22 ）： 1 - 9 .

BIE Zhaohong ， LIN Yanling ， QIU Aici . Concept and research prospects of power system resilience ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 22 ）： 1 - 9 .

别朝红，林超凡，李更丰，等 . 能源转型下弹性电力系统的发展与展望［J］. 中国电机工程学报， 2020 ， 40 （ 9 ）： 2735 - 2745 .

BIE Zhaohong ， LIN Chaofan ， LI Gengfeng ， et al . Development and prospect of resilient power system in the context of energy transition ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 9 ）： 2735 - 2745 .

王守相，刘琪，赵倩宇，等 . 配电网弹性内涵分析与研究展望［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 1 - 9 .

WANG Shouxiang ， LIU Qi ， ZHAO Qianyu ， et al . Connotation analysis and prospect of distribution network elasticity ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 1 - 9 .

PANTELI M ， MANCARELLA P . Influence of extreme weather and climate change on the resilience of power systems： impacts and possible mitigation strategies ［J］. Electric Power Systems Research ， 2015 ， 127 ： 259 - 270 .

葛少云，张成昊，刘洪，等 . 考虑微能源网支撑作用的配电网弹性提升策略［J］. 电网技术， 2019 ， 43 （ 7 ）： 2306 - 2317 .

GE Shaoyun ， ZHANG Chenghao ， LIU Hong ， et al . Resilience enhancement strategy for distribution network considering supporting role of micro energy grid ［J］. Power System Technology ， 2019 ， 43 （ 7 ）： 2306 - 2317 .

周晓敏，葛少云，李腾，等 . 极端天气条件下的配电网韧性分析方法及提升措施研究［J］. 中国电机工程学报， 2018 ， 38 （ 2 ）： 505 - 513 .

ZHOU Xiaomin ， GE Shaoyun ， LI Teng ， et al . Assessing and boosting resilience of distribution system under extreme weather ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 2 ）： 505 - 513 .

NAZEMI M ， MOEINI-AGHTAIE M ， FOTUHI-FIRUZABAD M ， et al . Energy storage planning for enhanced resilience of power distribution networks against earthquakes ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 2 ）： 795 - 806 .

WANG J ， ZUO W D ， RHODE-BARBARIGOS L ， et al . Literature review on modeling and simulation of energy infrastructures from a resilience perspective ［J］. Reliability Engineering & System Safety ， 2019 ， 183 ： 360 - 373 .

MISHRA D K ， GHADI M J ， AZIZIVAHED A ， et al . A review on resilience studies in active distribution systems ［J/OL］. Renewable and Sustainable Energy Reviews ， 2021 ， 135 ［ 2021-08-11 ］. https：//www.sciencedirect.com/science/article/abs/pii/S1364032120304913 https://www.sciencedirect.com/science/article/abs/pii/S1364032120304913 .

CHEN C ， WANG J H ， QIU F ， et al . Resilient distribution system by microgrids formation after natural disasters ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 2 ）： 958 - 966 .

许寅，王颖，和敬涵，等 . 多源协同的配电网多时段负荷恢复优化决策方法［J］. 电力系统自动化， 2020 ， 44 （ 2 ）： 123 - 131 .

XU Yin ， WANG Ying ， HE Jinghan ， et al . Optimal decision-making method for multi-period load restoration in distribution network with coordination of multiple sources ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 2 ）： 123 - 131 .

XU Y ， LIU C C ， SCHNEIDER K P ， et al . Microgrids for service restoration to critical load in a resilient distribution system ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 1 ）： 426 - 437 .

卞艺衡，别朝红 . 面向弹性提升的智能配电网远动开关优化配置模型［J］. 电力系统自动化， 2021 ， 45 （ 3 ）： 33 - 39 .

BIAN Yiheng ， BIE Zhaohong . Resilience-enhanced optimal placement model of remote-controlled switch for smart distribution network ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 3 ）： 33 - 39 .

SHI Q X ， LI F X ， OLAMA M ， et al . Network reconfiguration and distributed energy resource scheduling for improved distribution system resilience ［J/OL］. International Journal of Electrical Power & Energy Systems ， 2021 ， 124 ［ 2021-05-12 ］. https：//doi.org/10.1016/j.ijepes.2020.106355 https://doi.org/10.1016/j.ijepes.2020.106355 .

SHI Q X ， LI F X ， OLAMA M ， et al . Post-extreme-event restoration using linear topological constraints and DER scheduling to enhance distribution system resilience ［J/OL］. International Journal of Electrical Power & Energy Systems ， 2021 ， 131 ［ 2021-05-12 ］. https：// doi.org/ 10.1016/ j.ijepes. 2021.107029 https://doi.org/10.1016/j.ijepes.2021.107029 .

GILANI M A ， KAZEMI A ， GHASEMI M . Distribution system resilience enhancement by microgrid formation considering distributed energy resources ［J/OL］. Energy ， 2020 ， 191 ［ 2021-05-12 ］. https：// doi.org/ 10.1016/ j.energy. 2019.116442 https://doi.org/10.1016/j.energy.2019.116442 .

刘礼邦，武传涛，随权，等 . 计及可控负荷参与的主动配电网动态恢复供电策略［J］. 电力系统保护与控制， 2020 ， 48 （ 9 ）： 27 - 35 .

LIU Libang ， WU Chuantao ， SUI Quan ， et al . Power supply strategy for active distribution network dynamic recovery with controllable load participation ［J］. Power System Protection and Control ， 2020 ， 48 （ 9 ）： 27 - 35 .

FARZIN H ， FOTUHI-FIRUZABAD M ， MOEINI-AGHTAIE M . Enhancing power system resilience through hierarchical outage management in multi-microgrids ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 6 ）： 2869 - 2879 .

CAI S ， XIE Y Y ， WU Q W ， et al . Robust MPC-based microgrid scheduling for resilience enhancement of distribution system ［J/OL］. International Journal of Electrical Power & Energy Systems ， 2020 ， 121 ［ 2021-05-12 ］. https：//doi.org/10.1016/j.ijepes.2020.106068 https://doi.org/10.1016/j.ijepes.2020.106068 .

赵俊华，董朝阳，文福拴，等 . 面向能源系统的数据科学：理论、技术与展望［J］. 电力系统自动化， 2017 ， 41 （ 4 ）： 1 - 11 .

ZHAO Junhua ， DONG Zhaoyang ， WEN Fushuan ， et al . Data science for energy systems： theory， techniques and prospect ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 4 ）： 1 - 11 .

BELLMAN R . Dynamic programming ［J］. Science ， 1966 ， 153 （ 3731 ）： 34 - 37 .

Electric Power Research Institute . Open distribution system simulator （OpenDSS）［EB/OL］. ［ 2021-03-12 ］. https：//www.epri.com/pages/sa/opendss https://www.epri.com/pages/sa/opendss .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Playing atari with deep reinforcement learning ［R/OL］.［ 2021-03-12 ］. https：//arxiv.org/abs/1312.5602 https://arxiv.org/abs/1312.5602 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

SCHNEIDER K ， TUFFNER F ， ELIZONDO M ， et al . Evaluating the feasibility to use microgrids as a resiliency resource ［J］. IEEE Transactions on Smart Grid ， 2016 ， 8 （ 2 ）： 687 - 696 .

CALDOGNETTO T ， TENTI P . Microgrids operation based on master-slave cooperative control ［J］. IEEE Journal of Emerging and Selected Topics in Power Electronics ， 2014 ， 2 （ 4 ）： 1081 - 1088 .

PARHIZI S ， LOTFI H ， KHODAEI A ， et al . State of the art in research on microgrids： a review ［J］. IEEE Access ， 2015 ， 3 ： 890 - 925 .

DING T ， LIN Y L ， LI G F ， et al . A new model for resilient distribution systems by microgrids formation ［J］. IEEE Transactions on Power Systems ， 2017 ， 32 （ 5 ）： 4145 - 4147 .

SULLIVAN M J ， NOLAND S B ， VARDELL T ， et al . Interruption costs， customer satisfaction and expectations for service reliability ［J］. IEEE Transactions on Power Systems ， 1996 ， 11 （ 2 ）： 989 - 995 .

LI G F ， BIE Z H ， XIE H P ， et al . Customer satisfaction based reliability evaluation of active distribution networks ［J］. Applied Energy ， 2016 ， 162 ： 1571 - 1578 .

WEST D B . Introduction to graph theory ［M］. Upper Saddle River， USA ： Prentice Hall ， 2001 .

IEEE PES AMPS DSAS Test Feeder Working Group . IEEE 13-bus feeder ［EB/OL］. ［ 2021-02-12 ］. http：// site.ieee.org/pestestfeeders/files/2017/08/feeder13.zip http://site.ieee.org/pestestfeeders/files/2017/08/feeder13.zip .

IEEE PES AMPS DSAS Test Feeder Working Group . IEEE 37-bus feeder ［EB/OL］. ［ 2021-02-12 ］. http：//site.ieee.org/pes-testfeeders/files/2017/08/feeder37.zip http://site.ieee.org/pes-testfeeders/files/2017/08/feeder37.zip .

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［C］// 3rd International Conference on Learning Representations ， May 7-9 ， 2015 ， San Diego， USA .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Post-disaster Fault Restoration Strategy for Distribution Network Considering Optimal Scheduling of User-side Energy

Design of Multi-time Scale Trading Mechanism and Trading Strategy Optimization for Multiple Microgrids

Review on Application of New Generation Artificial Intelligence Technology in Power System Dispatching and Operation

Related Author

ZHONG Jian

CHEN Chen

ZHANG Haochen

SHEN Wentao

BIAN Yiheng

LI Gengfeng

BIE Zhaohong

LU Qiuyu

Related Institution

State Key Laboratory of Electrical Insulation and Power Equipment (Xi’an Jiaotong University)

School of Electrical Engineering, Xi’an Jiaotong University

Power Dispatching and Control Center of Guangdong Power Grid Co., Ltd.

School of Electrical and Electronic Engineering, North China Electric Power University

College of Energy and Electrical Engineering, Hohai University

⁰