Decision-making Method for Transient Stability Emergency Control Based on Deep Reinforcement Learning

LI Honghao; ZHANG Pei; LIU Zhao

doi:10.7500/AEPS20220307008

您当前的位置：

首页 >

文章列表页 >

Decision-making Method for Transient Stability Emergency Control Based on Deep Reinforcement Learning

Application Research | 更新时间：2025-06-16

- Decision-making Method for Transient Stability Emergency Control Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 5, Pages: 144-152(2023)
- 作者机构：
  
  北京交通大学电气工程学院，北京市 100044
- 作者简介：
- 基金信息：
  
  Fundamental Research Funds for the Central Universities(2021JBM027);National Natural Science Foundation of China(52107068)
- DOI：10.7500/AEPS20220307008
  CLC：
- Received：07 March 2022，
  
  Revised：2022-08-26，
  
  Published Online：06 December 2022，
  
  Published：10 March 2023
- 稿件说明：
移动端阅览
李宏浩,张沛,刘曌.基于深度强化学习的暂态稳定紧急控制决策方法[J].电力系统自动化,2023,47(5):144-152.

LI Honghao,ZHANG Pei,LIU Zhao.Decision-making Method for Transient Stability Emergency Control Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(5):144-152.
李宏浩,张沛,刘曌.基于深度强化学习的暂态稳定紧急控制决策方法[J].电力系统自动化,2023,47(5):144-152. DOI： 10.7500/AEPS20220307008.

LI Honghao,ZHANG Pei,LIU Zhao.Decision-making Method for Transient Stability Emergency Control Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(5):144-152. DOI： 10.7500/AEPS20220307008.

摘要

随着广域测量系统在暂态稳定控制中的应用，广域信息的随机性时滞造成了系统受控时状态的不确定性，并且切机和切负荷控制的离散决策变量维度极高，电网在线紧急控制决策面临着挑战。为此，将暂态稳定紧急控制问题建模为马尔可夫决策问题，提出一种深度Q网络(DQN)强化学习与暂态能量函数相结合的紧急控制决策方法，多步序贯决策过程中可应对紧急控制的时滞不确定性影响。奖励函数以考虑控制目标和约束条件的短期奖励函数和考虑稳定性的长期奖励函数构成，并在奖励函数中引入暂态能量函数的势能指数来提高学习效率。以最大化累计奖励为目标，通过DQN算法在离散化动作空间中学习得到最优紧急控制策略，解决暂态稳定紧急控制问题。所提方法通过IEEE 39节点系统验证了模型在紧急控制决策中的有效性。

Abstract

With the application of wide-area measurement systems in the transient stability control

the random time delay of wide-area information during the control process may cause the uncertainty of power system state during control. Moreover

the dimension of discrete decision variables for machine tripping and load shedding is extremely high

and the online emergency control decision-making of the power grid is facing challenge. Therefore

the transient stability emergency control problem is modeled as a Markov decision problem

and an decision-making method combining the deep Q-learning network (DQN) reinforcement learning and transient energy function is proposed

which can deal with the time-delay uncertainty of emergency control through the multi-step sequential decision-making process. The reward function is composed of a short-term reward function considering the control objectives and constraints

and a long-term reward function considering the stability. The potential energy index of the transient energy function is introduced into the reward function to improve the learning efficiency. With the objective of maximizing the cumulative rewards

the optimal emergency control strategy is learned in the discrete action space by DQN algorithm to solve the transient stability emergency control problem. The effectiveness of the proposed method in the emergency control decision-making is verified by an IEEE 39-bus system.

关键词

Keywords

references

周孝信，陈树勇，鲁宗相，等 . 能源转型中我国新一代电力系统的技术特征［J］. 中国电机工程学报， 2018 ， 38 （ 7 ）： 1893 - 1904 .

ZHOU Xiaoxin ， CHEN Shuyong ， LU Zongxiang ， et al . Technology features of the new generation power system in China ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 7 ）： 1893 - 1904 .

舒印彪，陈国平，贺静波，等 . 构建以新能源为主体的新型电力系统框架研究［J］. 中国工程科学， 2021 ， 23 （ 6 ）： 61 - 69 .

SHU Yinbiao ， CHEN Guoping ， HE Jingbo ， et al . Building a new electric power system based on new energy sources ［J］. Strategic Study of Chinese Academy of Engineering ， 2021 ， 23 （ 6 ）： 61 - 69 .

曾辉，孙峰，李铁，等 . 澳大利亚“9·28”大停电事故分析及对中国启示［J］. 电力系统自动化， 2017 ， 41 （ 13 ）： 1 - 6 .

ZENG Hui ， SUN Feng ， LI Tie ， et al . Analysis of “9·28” blackout in South Australia and its enlightenment to China ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 13 ）： 1 - 6 .

易俊，卜广全，郭强，等 . 巴西“3·21”大停电事故分析及对中国电网的启示［J］. 电力系统自动化， 2019 ， 43 （ 2 ）： 1 - 6 .

YI Jun ， BU Guangquan ， GUO Qiang ， et al . Analysis on blackout in Brazilian power grid on March 21， 2018 and its enlightenment to power grid in China ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 2 ）： 1 - 6 .

张瑞琪，闵勇，侯凯元 . 电力系统切机/切负荷紧急控制方案的研究［J］. 电力系统自动化， 2003 ， 27 （ 18 ）： 6 - 12 .

ZHANG Ruiqi ， MIN Yong ， HOU Kaiyuan . A new method for generation shedding and load shedding in power system emergency control ［J］. Automation of Electric Power Systems ， 2003 ， 27 （ 18 ）： 6 - 12 .

滕林，刘万顺，貟志皓，等 . 电力系统暂态稳定实时紧急控制的研究［J］. 中国电机工程学报， 2003 ， 23 （ 1 ）： 64 - 69 .

TENG Lin ， LIU Wanshun ， YUN Zhihao ， et al . Study of real-time power system transient stability emergency control ［J］. Proceedings of the CSEE ， 2003 ， 23 （ 1 ）： 64 - 69 .

汤涌 . 电力系统安全稳定综合防御体系框架［J］. 电网技术 . 2012 ， 36 （ 8 ）： 1 - 5 .

TANG Yong . Framework of comprehensive defense architecture for power system security and stability ［J］. Power System Technology ， 2012 ， 36 （ 8 ）： 1 - 5 .

王彪，方万良，罗煦之 . 紧急控制下最优切机切负荷方案的快速算法［J］. 电网技术， 2011 ， 35 （ 6 ）： 82 - 87 .

WANG Biao ， FANG Wanliang ， LUO Xuzhi . A fast algorithm of optimal generator and load-shedding for emergency control ［J］. Power System Technology ， 2011 ， 35 （ 6 ）： 82 - 87 .

胡伟，张玮灵，闵勇，等 . 基于支持向量机的电力系统紧急控制实时决策方法［J］. 中国电机工程学报， 2017 ， 37 （ 16 ）： 4567 - 4576 .

HU Wei ， ZHANG Weiling ， MIN Yong ， et al . Real-time emergency control decision in power system based on support vector machines ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 16 ）： 4567 - 4576 .

甘国晓 . 电力系统连锁故障分析与紧急控制研究［D］. 杭州：浙江大学， 2019 .

GAN Guoxiao . Cascading failure analysis and emergency control of power system ［D］. Hangzhou ： Zhejiang University ， 2019 .

彭疆南，孙元章，程林 . 基于受扰轨迹的紧急控制新方法［J］. 电力系统自动化， 2002 ， 26 （ 21 ）： 17 - 22 .

PENG Jiangnan ， SUN Yuanzhang ， CHENG Lin . A novel approach for transient stability emergency control based on perturbed trajectory ［J］. Automation of Electric Power Systems ， 2002 ， 26 （ 21 ）： 17 - 22 .

徐泰山，许剑冰，鲍颜红，等 . 互联电网预防控制和紧急控制在线预决策系统［J］. 电力系统自动化， 2006 ， 30 （ 7 ）： 1 - 4 .

XU Taishan ， XU Jianbing ， BAO Yanhong ， et al . On-line pre-decision based preventive and emergency control system for interconnected power grids ［J］. Automation of Electric Power Systems ， 2006 ， 30 （ 7 ）： 1 - 4 .

顾卓远，汤涌，张健，等 . 基于相对动能的电力系统暂态稳定实时紧急控制方案［J］. 中国电机工程学报， 2014 ， 34 （ 7 ）： 1095 - 1102 .

GU Zhuoyuan ， TANG Yong ， ZHANG Jian ， et al . Real-time power system transient stability emergency control scheme based on the relative kinetic energy ［J］. Proceedings of the CSEE ， 2014 ， 34 （ 7 ）： 1095 - 1102 .

郑超，苗田，马世英 . 基于关键支路受扰轨迹凹凸性的暂态稳定判别及紧急控制［J］. 中国电机工程学报， 2016 ， 36 （ 10 ）： 2600 - 2610 .

ZHENG Chao ， MIAO Tian ， MA Shiying . Transient stability identification and emergency control based on the convex characteristic of the key branch's disturbed trajectory ［J］. Proceedings of the CSEE ， 2016 ， 36 （ 10 ）： 2600 - 2610 .

刘威，张东霞，王新迎，等 . 基于深度强化学习的电网紧急控制策略研究［J］. 中国电机工程学报， 2018 ， 38 （ 1 ）： 109 - 119 .

LIU Wei ， ZHANG Dongxia ， WANG Xinying ， et al . A decision making strategy for generating unit tripping under emergency circumstances based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 1 ）： 109 - 119 .

王彤，刘九良，朱劭璇，等 . 基于随机森林的电力系统暂态稳定评估与紧急控制策略［J］. 电网技术， 2020 ， 44 （ 12 ）： 4694 - 4701 .

WANG Tong ， LIU Jiuliang ， ZHU Shaoxuan ， et al . Transient stability assessment and emergency control strategy based on random forest in power system ［J］. Power System Technology ， 2020 ， 44 （ 12 ）： 4694 - 4701 .

强子玥，吴俊勇，李宝琴，等 . 基于改进AlexNet的电力系统暂态功角失稳紧急控制策略［J］. 高电压技术， 2022 ， 48 （ 7 ）： 2794 - 2804 .

QIANG Ziyue ， WU Junyong ， LI Baoqin ， et al . Emergency control strategy for transient angle instability of power system based on improved AlexNet ［J］. High Voltage Engineering ， 2022 ， 48 （ 7 ）： 2794 - 2804 .

ZHANG F ， SUN Y Z ， CHENG L ， et al . Measurement and modeling of delays in wide-area closed-loop control systems ［J］. IEEE Transactions on Power Systems ， 2015 ， 30 （ 5 ）： 2426 - 2433 .

叶华，刘玉田 . 大规模时滞电力系统特征值计算［M］. 北京：科学出版社， 2018 .

YE Hua ， LIU Yutian . Eigenvalue computation for large time-delayed power systems ［M］. Beijing ： Science Press ， 2018 .

ARSLAN G ， YÜKSEL S . Decentralized Q-learning for stochastic teams and games ［J］. IEEE Transactions on Automatic Control ， 2017 ， 62 （ 4 ）： 1545 - 1558 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

严梓铭，徐岩 . 结合深度强化学习与领域知识的电力系统拓扑结构优化［J］. 电力系统自动化， 2022 ， 46 （ 1 ）： 60 - 68 .

YAN Ziming ， XU Yan . Topology optimization of power systems combining deep reinforcement learning and domain knowledge ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 1 ）： 60 - 68 .

RUELENS F ， CLAESSENS B J ， VANDAEL S ， et al . Residential demand response of thermostatically controlled loads using batch reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2149 - 2159 .

ERNST D ， GLAVIC M ， CAPITANESCU F ， et al . Reinforcement learning versus model predictive control： a comparison on a power system problem ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 2009 ， 39 （ 2 ）： 517 - 529 .

刘全，翟建伟，章宗长，等 . 深度强化学习综述［J］. 计算机学报， 2018 ， 41 （ 1 ）： 1 - 27 .

LIU Quan ， ZHAI Jianwei ， ZHANG Zongzhang ， et al . A survey on deep reinforcement learning ［J］. Chinese Journal of Computers ， 2018 ， 41 （ 1 ）： 1 - 27 .

ERNST D ， GLAVIC M ， WEHENKEL L . Power systems stability control： reinforcement learning framework ［J］. IEEE Transactions on Power Systems ， 2004 ， 19 （ 1 ）： 427 - 435 .

SUN K ， LEE S T . Power system security pattern recognition based on phase space visualization ［C］// 2008 Third International Conference on Electric Utility Deregulation & Restructuring & Power Technologies ， April 6-9 ， 2008 ， Nanjing， China ： 964 - 969 .

高昆仑，杨帅，刘思言，等 . 基于一维卷积神经网络的电力系统暂态稳定评估［J］. 电力系统自动化， 2019 ， 43 （ 12 ）： 18 - 26 .

GAO Kunlun ， YANG Shuai ， LIU Siyan ， et al . Transient stability assessment for power system based on one-dimensional convolutional neural network ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 12 ）： 18 - 26 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Parameter Optimization Method for Hydropower Clusters Balancing Ultra-low-frequency Oscillation Suppression and Primary Frequency Regulation

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

WANG Juan

LI Zhukun

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

School of Electric Power Engineering, South China University of Technology

⁰