Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm

WANG Zihao; WANG Xu; JIANG Chuanwen; GONG Kai; BAI Bingqing; DENG Hui

doi:10.7500/AEPS20220417004

您当前的位置：

首页 >

文章列表页 >

Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm

Basic Research | 更新时间：2025-06-16

- Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm
- Automation of Electric Power Systems Vol. 46, Issue 21, Pages: 62-70(2022)
- 作者机构：
  
  1.电力传输与功率变换控制教育部重点实验室(上海交通大学),上海市 200240
  2.国网浙江省电力有限公司电力科学研究院,浙江省杭州市 310014
  3.国网浙江省电力有限公司电力市场仿真实验室,浙江省杭州市 310014
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51907120);Shanghai Sailing Program(19YF1423600)
- DOI：10.7500/AEPS20220417004
  CLC：
- Received：17 April 2022，
  
  Revised：2022-06-10，
  
  Published Online：01 September 2022，
  
  Published：10 November 2022
- 稿件说明：
移动端阅览
王子昊,王旭,蒋传文等.基于近端策略优化算法的灾后配电网韧性提升方法[J].电力系统自动化,2022,46(21):62-70.

WANG Zihao,WANG Xu,JIANG Chuanwen,et al.Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm[J].Automation of Electric Power Systems,2022,46(21):62-70.
王子昊,王旭,蒋传文等.基于近端策略优化算法的灾后配电网韧性提升方法[J].电力系统自动化,2022,46(21):62-70. DOI： 10.7500/AEPS20220417004.

WANG Zihao,WANG Xu,JIANG Chuanwen,et al.Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm[J].Automation of Electric Power Systems,2022,46(21):62-70. DOI： 10.7500/AEPS20220417004.

摘要

台风灾害易导致配电网线路断线，并解列成多个孤岛运行。如何高效实现配电网网络重构、分布式发电调度以促进灾后负荷恢复这一问题亟待解决。文中提出了一种基于深度强化学习近端策略优化（PPO）算法的灾后配电网韧性提升方法。首先，以灾后配电网的节点电压偏差、负荷损失和发电成本最小为目标，构造了内层优化模型。其次，将灾后配电网韧性提升策略转化为多阶段马尔可夫决策过程，并构建了外层强化学习优化模型。以联络线开关的投切指令为控制变量，最大化负荷恢复为优化目标，并采用PPO算法进行求解。然后，分析了PPO算法的样本数据处理方法，并对PPO算法训练过程进行测试以验证该算法的收敛性。最后，采用改进的IEEE 33节点、IEEE 118节点配电网进行算例分析，验证了所提优化方法的可行性。

Abstract

Typhoon disasters are prone to cause distribution network to break lines and split into several islands. How to efficiently realize distribution network reconfiguration and distributed generation scheduling to promote post-disaster load recovery is an urgent problem to be solved. This paper proposes a resilience improvement method for post-disaster distribution network based on the deep reinforcement learning proximal policy optimization (PPO) algorithm. Firstly

an inner layer optimization model is constructed to minimize node voltage deviation

load loss

and generation cost of the post-disaster distribution network. Secondly

the resilience improvement strategy for post-disaster distribution network is transformed into a multi-stage Markov decision process

and an outer layer reinforcement learning optimization model is constructed. The PPO algorithm is used to solve the optimization model

with the tie line switch on-off command as the control variable and the maximization of load recovery as the optimization objective. Then

the sample data processing method of the PPO algorithm is analyzed

and the training process of the PPO algorithm is tested to verify the convergence of the algorithm. Finally

the feasibility of the proposed optimization method is verified by using the improved IEEE 33-bus and IEEE 118-bus distribution networks for the case analysis.

关键词

Keywords

references

张勇，赵勇，王景亮，等 . 台风对电网运行影响及应对措施［J］. 南方电网技术， 2012 ， 6 （ 1 ）： 42 - 45 .

ZHANG Yong ， ZHAO Yong ， WANG Jingliang ， et al . The influence of typhoon on the operation of power grid and countermeasures ［J］. Southern Power System Technology ， 2012 ， 6 （ 1 ）： 42 - 45 .

徐悦，李博，孙建军，等 . 基于运行韧性评价的配电网电压暂降治理评估［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 104 - 110 .

XU Yue ， LI Bo ， SUN Jianjun ， et al . Evaluation of voltage sag management in distribution network based on operation resilience assessment ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 104 - 110 .

李博达，熊宇峰，任正伟，等 . 台风期间考虑配电终端功能可用性的配电网重构方法［J］. 电力系统自动化， 2021 ， 45 （ 4 ）： 38 - 44 .

LI Boda ， XIONG Yufeng ， REN Zhengwei ， et al . Distribution network reconfiguration method considering availability of distribution terminal functions during typhoon disaster ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 4 ）： 38 - 44 .

马丽叶，王海锋，卢志刚，等 . 计及相关性影响的增强台风灾害下配电网韧性灵活性资源规划［J］. 电力系统自动化， 2022 ， 46 （ 7 ）： 60 - 68 .

MA Liye ， WANG Haifeng ， LU Zhigang ， et al . Flexible resource planning for improving distribution network resilience under typhoon disasters considering relevance impact ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 7 ）： 60 - 68 .

邹波，孙可，胡成鹏，等 . 台风天气下配电系统韧性提升策略［J］. 电力系统及其自动化学报， 2021 ， 33 （ 7 ）： 135 - 142 .

ZOU Bo ， SUN Ke ， HU Chengpeng ， et al . Resilience enhancement strategy for power distribution system under typhoon weather ［J］. Proceedings of the CSU-EPSA ， 2021 ， 33 （ 7 ）： 135 - 142 .

周晓敏，葛少云，李腾，等 . 极端天气条件下的配电网韧性分析方法及提升措施研究［J］. 中国电机工程学报， 2018 ， 38 （ 2 ）： 505 - 513 .

ZHOU Xiaomin ， GE Shaoyun ， LI Teng ， et al . Assessing and boosting resilience of distribution system under extreme weather ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 2 ）： 505 - 513 .

WANG X ， SHAHIDEHPOUR M ， JIANG C W ， et al . Resilience enhancement strategies for power distribution network coupled with urban transportation system ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 4068 - 4079 .

SEKHAVATMANESH H ， CHERKAOUI R . A multi-step reconfiguration model for active distribution network restoration integrating DG start-up sequences ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 4 ）： 2879 - 2888 .

CHEN B ， CHEN C ， WANG J H ， et al . Multi-time step service restoration for advanced distribution systems and microgrids ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 6 ）： 6793 - 6805 .

梁煜东，陈峦，张国洲，等 . 基于深度强化学习的多能互补发电系统负荷频率控制策略［J］. 电工技术学报， 2022 ， 37 （ 7 ）： 1768 - 1779 .

LIANG Yudong ， CHEN Luan ， ZHANG Guozhou ， et al . Load frequency control strategy of hybrid power generation system： a deep reinforcement learning-based approach ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 7 ）： 1768 - 1779 .

王标 . 主动配电网运行优化的深度强化学习方法［D］. 武汉：华中科技大学， 2020 .

WANG Biao . Deep reinforcement learning method for operation optimization of active distribution network ［D］. Wuhan ： Huazhong University of Science and Technology ， 2020 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

罗欣儿，杜进桥，田杰，等 . 基于深度强化学习的主动配电网高恢复力决策方法［J］. 南方电网技术， 2022 ， 16 （ 1 ）： 67 - 74 .

LUO Xiner ， DU Jinqiao ， TIAN Jie ， et al . High resilience decision-making method of active distribution network based on deep reinforcement learning ［J］. Southern Power System Technology ， 2022 ， 16 （ 1 ）： 67 - 74 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

邓清唐，胡丹尔，蔡田田，等 . 基于多智能体深度强化学习的配电网无功优化策略［J］. 电工电能新技术， 2022 ， 41 （ 2 ）： 10 - 20 .

DENG Qingtang ， HU Daner ， CAI Tiantian ， et al . Reactive power optimization strategy of distribution network based on multi agent deep reinforcement learning ［J］. Advanced Technology of Electrical Engineering and Energy ， 2022 ， 41 （ 2 ）： 10 - 20 .

WANG C ， JU P ， LEI S B ， et al . Markov decision process-based resilience enhancement for distribution systems： an approximate dynamic programming approach ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2498 - 2510 .

YAN Z M ， XU Y . Data-driven load frequency control for stochastic power systems： a deep reinforcement learning method with continuous action search ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 2 ）： 1653 - 1656 .

ZHANG G Z ， HU W H ， CAO D ， et al . Deep reinforcement learning-based approach for proportional resonance power system stabilizer to prevent ultra-low-frequency oscillations ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 6 ）： 5260 - 5272 .

WEI T X ， CHU X D ， YANG D ， et al . Power balance control of RES integrated power system by deep reinforcement learning with optimized utilization rate of renewable energy ［J］. Energy Reports ， 2022 ， 8 ： 544 - 553 .

HUANG Q H ， HUANG R K ， HAO W T ， et al . Adaptive power system emergency control using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1171 - 1182 .

尚立，蔡硕，崔俊彬，等 . 基于软件定义网络的电网边缘计算资源分配［J］. 电力系统保护与控制， 2021 ， 49 （ 20 ）： 136 - 143 .

SHANG Li ， CAI Shuo ， CUI Junbin ， et al . SDN-based MEC resource allocation of a power grid ［J］. Power System Protection and Control ， 2021 ， 49 （ 20 ）： 136 - 143 .

轩书哲，柯良军 . 基于多智能体强化学习的无人机集群攻防对抗策略研究［J］. 无线电工程， 2021 ， 51 （ 5 ）： 360 - 366 .

XUAN Shuzhe ， KE Liangjun . Study on attack-defense countermeasure of UAV swarms based on multi-agent reinforcement learning ［J］. Radio Engineering ， 2021 ， 51 （ 5 ）： 360 - 366 .

朱广，霍跃华，栾庆磊，等 . 基于PPO算法优化的IoT环境温度预测研究［J］. 传感器与微系统， 2021 ， 40 （ 4 ）： 33 - 36 .

ZHU Guang ， HUO Yuehua ， LUAN Qinglei ， et al . Research on IoT environment temperature prediction based on PPO algorithm optimization ［J］. Transducer and Microsystem Technologies ， 2021 ， 40 （ 4 ）： 33 - 36 .

张斌 . 基于深度强化学习的综合能源系统运行优化研究［D］. 成都：电子科技大学， 2021 .

ZHANG Bin . Research on optimization operation strategy of integrated energy system based on deep reinforcement learning algorithm ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2021 .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. ［ 2022-04-17 ］. https：//arxiv.org/abs/1707.06347 https://arxiv.org/abs/1707.06347 .

ZHANG Y C ， QIU F ， HONG T Q ， et al . Hybrid imitation learning for real-time service restoration in resilient distribution systems ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 3 ）： 2089 - 2099 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Pre-disaster Deployment and Post-disaster Dispatching Method for Distribution Network Restoration Resources Under Compound Typhoon and Waterlog Disaster

Multi-dimensional Resilience Enhancement Strategy for Distribution Network During Typhoon Based on Improved Normal Constraints Method

Related Author

Zihao WANG

Xu WANG

Chuanwen JIANG

Kai GONG

Bingqing BAI

Hui DENG

HUANG Yu

ZHANG Xiaoxiao

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

State Key Laboratory of Electrical Insulation and Power Equipment (Xi’an Jiaotong University)

Pudong Power Supply Company of State Grid Shanghai Electric Power Co., Ltd.

Key Laboratory of Control of Power Transmission and Conversion (Shanghai Jiao Tong University)

⁰