Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

XIAO Wencong; CHEN Junbin; YU Tao; PAN Zhenning; WU Yufeng; LUO Qingquan

doi:10.7500/AEPS20240927004

您当前的位置：

首页 >

文章列表页 >

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Basic Research | 更新时间：2025-07-04

- Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning
- Automation of Electric Power Systems Vol. 49, Issue 12, Pages: 91-100(2025)
- 作者机构：
  
  1.华南理工大学电力学院，广东省广州市 510641
  2.汕头大学工学院，广东省汕头市 515063
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(U24B6010);National Natural Science Foundation of China(52207105)
- DOI：10.7500/AEPS20240927004
  CLC：
- Received：27 September 2024，
  
  Revised：2025-01-19，
  
  Published Online：10 March 2025，
  
  Published：25 June 2025
- 稿件说明：
移动端阅览
萧文聪,陈俊斌,余涛等.基于专家知识嵌入强化学习的配电系统灾后恢复决策方法[J].电力系统自动化,2025,49(12):91-100.

XIAO Wencong,CHEN Junbin,YU Tao,et al.Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(12):91-100.
萧文聪,陈俊斌,余涛等.基于专家知识嵌入强化学习的配电系统灾后恢复决策方法[J].电力系统自动化,2025,49(12):91-100. DOI： 10.7500/AEPS20240927004.

XIAO Wencong,CHEN Junbin,YU Tao,et al.Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(12):91-100. DOI： 10.7500/AEPS20240927004.

摘要

安全、高效的配电系统恢复(DSR)决策方法对于提升配电系统的韧性具有重大意义。传统的混合整数规划方法依赖于精准数学模型，且求解时间较长，难以在线应用。尽管深度强化学习具有不依赖于建模和决策效率高等优点，但面对DSR问题时仍面临寻优空间巨大、安全性难以保证等挑战。针对上述问题，提出了一种基于专家知识嵌入强化学习的配电系统灾后恢复决策方法，专家知识包括专家经验知识与专家机理知识。首先，提出基于专家示范的值函数预训练技术，利用专家经验知识为智能体提供较好的初始寻优点。其次，提出结合专家示范的多重优先经验回放技术，避免智能体遗忘专家知识。最后，提出基于专家机理知识的无效动作屏蔽技术，有效缩减寻优空间，同时确保生成动作满足辐射状运行等安全约束。改进的IEEE 37节点算例和中国南方某区域的配电系统362节点算例分析表明，所提方法能够快速收敛，生成满足安全约束的接近最优解的供电恢复决策方案，同时决策效率满足实际DSR决策的要求。

Abstract

A safe and efficient distribution system restoration (DSR) decision-making method is of great significance for enhancing the resilience of the distribution system. The traditional mixed-integer programming method relies on precise mathematical models and has long solving time

making it difficult to be applied online. Although deep reinforcement learning has the advantages of not relying on modeling and high decision-making efficiency

it still faces challenges such as huge optimization space and difficulty in security guarantee when dealing with DSR problems. In response to the above problems

a post-disaster DSR decision-making method based on expert knowledge-embedded reinforcement learning is proposed. Expert knowledge includes expert experience knowledge and expert mechanism knowledge. Firstly

a value function pre-training technique based on expert demonstration is proposed

which utilizes the expert experience knowledge to provide better initial optimization point for agents. Secondly

a multi-priority experience replay technology combined with expert demonstration is proposed to prevent agents from forgetting expert knowledge. Finally

an invalid action masking technology based on expert mechanism knowledge is proposed

which effectively reduces the optimization space while ensuring that the generated actions meet safety constraints such as radial operation. The analysis of an modified IEEE 37-bus case and a 362-bus case of the distribution system in a certain area in southern China shows that the proposed method can converge rapidly and generate a power supply restoration decision-making scheme close to the optimal solution that satisfies the safety constraints. Meanwhile

the decision-making efficiency meets the requirements of actual DSR decision-making.

关键词

Keywords

references

徐式蕴，王一鸣，孙华东，等 . 国外新能源脱网事故对中国电网安全稳定运行的启示［J］. 电力系统自动化， 2024 ， 48 （ 13 ）： 1 - 8 .

XU Shiyun ， WANG Yiming ， SUN Huadong ， et al . Insights from renewable energy outage accidents abroad for secure and stable operation of power grids in China ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 13 ）： 1 - 8 .

张玥，谢光龙，张全，等 . 美国得州2·15大停电事故分析及对中国电力发展的启示［J］. 中国电力， 2021 ， 54 （ 4 ）： 192 - 198 .

ZHANG Yue ， XIE Guanglong ， ZHANG Quan ， et al . Analysis of 2·15 power outage in Texas and its implications for the power sector of China ［J］. Electric Power ， 2021 ， 54 （ 4 ）： 192 - 198 .

范馨予，黄媛，吴疆，等 . 考虑源网荷储协同优化的配电网韧性提升策略［J］. 电力建设， 2023 ， 44 （ 4 ）： 63 - 73 .

FAN Xinyu ， HUANG Yuan ， WU Jiang ， et al . Resilience promotion strategy for distribution network considering source-network-load-storage coordination ［J］. Electric Power Construction ， 2023 ， 44 （ 4 ）： 63 - 73 .

张亚超，丁志龙，谢仕炜，等 . 面向能源互联网的配电网韧性提升研究综述及展望［J］. 电网技术， 2023 ， 47 （ 5 ）： 2054 - 2068 .

ZHANG Yachao ， DING Zhilong ， XIE Shiwei ， et al . Review and prospect of power distribution network resilience enhancement for energy Internet ［J］. Power System Technology ， 2023 ， 47 （ 5 ）： 2054 - 2068 .

徐岩，郭佳睿，马天祥 . 考虑韧性提升的配电网故障恢复与抢修协调优化［J/OL］. 高电压技术［ 2024-09-01 ］. https：//doi.org/10.13336/j.1003-6520.hve.20240992 https://doi.org/10.13336/j.1003-6520.hve.20240992 .

XU Yan ， GUO Jiarui ， MA Tianxiang . Coordinated optimization of fault recovery and emergency repair for distribution network considering resilience improvement ［J/OL］. High Voltage Engineering ［ 2024-09-01 ］. https：//doi.org/10.13336/j.1003-6520.hve.20240992 https://doi.org/10.13336/j.1003-6520.hve.20240992 .

唐坤霆，周永智，李宝聚，等 . 考虑热惯性的极端冰雪灾害下综合能源系统韧性提升［J］. 电力系统自动化， 2024 ， 48 （ 21 ）： 129 - 137 .

TANG Kunting ， ZHOU Yongzhi ， LI Baoju ， et al . TANG Kunting， ZHOU Yongzhi， LI Baoju， et al. Resilience enhancement of integrated energy systems under extreme ice and snow disasters considering thermal inertia［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 21 ）： 129 - 137 .

董旭柱，黄邵远，陈柔伊，等 . 智能配电网自愈控制技术［J］. 电力系统自动化， 2012 ， 36 （ 18 ）： 17 - 21 .

DONG Xuzhu ， HUANG Shaoyuan ， CHEN Rouyi ， et al . Self-healing control technology for smart distribution system ［J］. Automation of Electric Power Systems ， 2012 ， 36 （ 18 ）： 17 - 21 .

盛万兴，孟晓丽，宋晓辉 . 智能配电网自愈控制基础［M］. 北京：中国电力出版社， 2012 .

SHENG Wanxing ， MENG Xiaoli ， SONG Xiaohui . Self-healing control foundation of intelligent distribution network ［M］. Beijing ： China Electric Power Press ， 2012 .

LIU J C ， QIN C ， YU Y X . A comprehensive resilience-oriented FLISR method for distribution systems ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 3 ）： 2136 - 2152 .

LIU J C ， QIN C ， YU Y X . Enhancing distribution system resilience with proactive islanding and RCS-based fast fault isolation and service restoration ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2381 - 2395 .

卢俊杰，杨晓东，张有兵，等 . 含多端柔性软开关的互联配电系统故障恢复优化决策方法［J］. 中国电机工程学报， 2023 ， 43 （ 12 ）： 4554 - 4567 .

LU Junjie ， YANG Xiaodong ， ZHANG Youbing ， et al . Optimal decision-making method for restoration of interconnected distribution networks with multi-terminal soft open point ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 12 ）： 4554 - 4567 .

BIAN Y H ， CHEN C ， HUANG Y X ， et al . Service restoration for resilient distribution systems coordinated with damage assessment ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 5 ）： 3792 - 3804 .

汤一达，吴志，顾伟，等 . 主动配电网故障恢复的重构与孤岛划分统一模型［J］. 电网技术， 2020 ， 44 （ 7 ）： 2731 - 2737 .

TANG Yida ， WU Zhi ， GU Wei ， et al . Research on active distribution network fault recovery strategy based on unified model considering reconstruction and island partition ［J］. Power System Technology ， 2020 ， 44 （ 7 ）： 2731 - 2737 .

刘刚，陈莎，仝进，等 . 含分布式电源接入的配电网故障恢复方法［J］. 电测与仪表， 2020 ， 57 （ 18 ）： 50 - 56 .

LIU Gang ， CHEN Sha ， TONG Jin ， et al . Fault restoration method for power distribution networks considering distributed generations ［J］. Electrical Measurement & Instrumentation ， 2020 ， 57 （ 18 ）： 50 - 56 .

DING T ， WANG Z K ， QU M ， et al . A sequential black-start restoration model for resilient active distribution networks ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 4 ）： 3133 - 3136 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

ZHAO T Q ， WANG J H . Learning sequential distribution system restoration via graph-reinforcement learning ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 2 ）： 1601 - 1611 .

张沛，陈玉鑫，王光华，等 . 基于图强化学习的配电网故障恢复决策［J］. 电力系统自动化， 2024 ， 48 （ 2 ）： 151 - 158 .

ZHANG Pei ， CHEN Yuxin ， WANG Guanghua ， et al . Fault recovery decision of distribution network based on graph reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 2 ）： 151 - 158 .

王子昊，王旭，蒋传文，等 . 基于近端策略优化算法的灾后配电网韧性提升方法［J］. 电力系统自动化， 2022 ， 46 （ 21 ）： 62 - 70 .

WANG Zihao ， WANG Xu ， JIANG Chuanwen ， et al . Resilience improvement method for post-disaster distribution network based on proximal policy optimization algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 21 ）： 62 - 70 .

WU J J ， FANG B Y ， FANG J Y ， et al . Sequential topology recovery of complex power systems based on reinforcement learning ［J］. Physica A： Statistical Mechanics and Its Applications ， 2019 ， 535 ： 122487 .

GHORBANI M J ， CHOUDHRY M A ， FELIACHI A . A multiagent design for power distribution systems automation ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 1 ）： 329 - 339 .

WEI F R ， WAN Z Q ， HE H B . Cyber-attack recovery strategy for smart grid based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2476 - 2486 .

黄玉雄，李更丰，张理寅，等 . 弹性配电系统动态负荷恢复的深度强化学习方法［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 68 - 78 .

HUANG Yuxiong ， LI Gengfeng ， ZHANG Liyin ， et al . Deep reinforcement learning method for dynamic load restoration of resilient distribution systems ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 68 - 78 .

罗欣儿，杜进桥，田杰，等 . 基于深度强化学习的主动配电网高恢复力决策方法［J］. 南方电网技术， 2022 ， 16 （ 1 ）： 67 - 74 .

LUO Xiner ， DU Jinqiao ， TIAN Jie ， et al . High resilience decision-making method of active distribution network based on deep reinforcement learning ［J］. Southern Power System Technology ， 2022 ， 16 （ 1 ）： 67 - 74 .

王光华，李晓影，宋秉睿，等 . 基于深度强化学习的配电网负荷转供控制方法［J］. 电力自动化设备， 2022 ， 42 （ 7 ）： 253 - 260 .

WANG Guanghua ， LI Xiaoying ， SONG Bingrui ， et al . Load transfer control method of distribution network based on deep reinforcement learning ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 7 ）： 253 - 260 .

闫冬，彭国政，高海龙，等 . 基于深度强化学习组合优化的配电网拓扑控制研究［J］. 电网技术， 2022 ， 46 （ 7 ）： 2547 - 2554 .

YAN Dong ， PENG Guozheng ， GAO Hailong ， et al . Research on distribution network topology control based on deep reinforcement learning combinatorial optimization ［J］. Power System Technology ， 2022 ， 46 （ 7 ）： 2547 - 2554 .

ZHANG Y C ， QIU F ， HONG T Q ， et al . Hybrid imitation learning for real-time service restoration in resilient distribution systems ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 3 ）： 2089 - 2099 .

LI C ， KIES A ， ZHOU K ， et al . Optimal Power Flow in a highly renewable power system based on attention neural networks ［J］. Applied Energy ， 2024 ， 359 ： 122779 .

CHEN J B ， YU T ， PAN Z N ， et al . Stochastic dynamic power dispatch with human knowledge transfer using graph-GAN assisted inverse reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2024 ， 15 （ 3 ）： 3303 - 3315 .

仪忠凯，梁寿愚，王伟，等 . 电力系统调度决策：一种示教学习辅助加速的安全强化学习方法［J］. 中国电机工程学报， 2024 ， 44 （ 13 ）： 5084 - 5097 .

YI Zhongkai ， LIANG Shouyu ， WANG Wei ， et al . Power system dispatch： an accelerated safe reinforcement learning approach by incorporating learning from demonstration ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 13 ）： 5084 - 5097 .

GAO H J ， WANG R J ， HE S J ， et al . A cloud-edge collaboration solution for distribution network reconfiguration using multi-agent deep reinforcement learning ［J］. IEEE Transactions on Power Systems ， 2024 ， 39 （ 2 ）： 3867 - 3879 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Playing Atari with deep reinforcement learning ［EB/OL］. ［ 2024-09-01 ］. https：//arxiv.org/abs/1312.5602v1 https://arxiv.org/abs/1312.5602v1 .

WANG Z Y ， LIN D ， YU T ， et al . Explicit reliability incorporated switches planning of smart distribution system with high flexibility ［J］. International Journal of Electrical Power and Energy Systems ， 2023 ， 145 ： 108629 .

ZHU W S ， ROSENDO A . Proximal policy optimization smoothed algorithm ［EB/OL］.［ 2024-09-01 ］. https：//arxiv.org/abs/2012.02439v1 https://arxiv.org/abs/2012.02439v1 .

WANG Z Y ， SCHAUL T ， HESSEL M ， et al . Dueling network architectures for deep reinforcement learning ［C］// Proceedings of the 33rd International Conference on International Conference on Machine Learning ， June 19-24 ， 2016 ， New York， USA ： 1995 - 2003 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm

Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System

Related Author

WANG Zihao

WANG Xu

JIANG Chuanwen

GONG Kai

BAI Bingqing

DENG Hui

Changsen FENG

Yu ZHANG

Related Institution

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education(Shanghai Jiao Tong University)

Electric Power Research Institute of State Grid Zhejiang Electric Power Co., Ltd.

Electricity Market Simulation Laboratory of State Grid Zhejiang Electric Power Co., Ltd.

College of Information Engineering, Zhejiang University of Technology

College of Electrical Engineering, Zhejiang University

⁰