基于决策空间裁剪强化学习的连锁故障调切结合紧急控制

陈戈; 张俊勃; 彭颖; 王明扬

doi:10.7500/AEPS20240808004

您当前的位置：

首页 >

文章列表页 >

基于决策空间裁剪强化学习的连锁故障调切结合紧急控制

学术研究 | 更新时间：2025-06-16

- 基于决策空间裁剪强化学习的连锁故障调切结合紧急控制
- Emergency Control Combined with Adjustment and Tripping Against Cascading Failures Based on Decision Space Pruning Reinforcement Learning
- 电力系统自动化 2025年49卷第6期页码：144-156
- 作者机构：
  
  华南理工大学电力学院，广东省广州市 510641
- 作者简介：
  
  陈戈(1995—)，男，博士研究生，主要研究方向：电力系统事故处理与调度决策、连锁故障紧急控制、强化学习在电力系统的应用、云计算与任务调度。E-mail：epchenge@mail.scut.edu.cn
  张俊勃(1986—)，男，通信作者，博士，教授，博士生导师，主要研究方向：新型电力系统稳定性、数字电网智能化应用、大型电力软件系统、人工智能在大型软件工程的应用。E-mail：epjbzhang@scut.edu.cn
  彭颖(2001—)，男，硕士研究生，主要研究方向：电力系统安全稳定分析、人工智能在电力系统的应用。E-mail：202320113634@mail.scut.edu.cn
- 基金信息：
  
  国家自然科学基金资助项目(52277101);国家自然科学基金资助项目(U22B6007);广州市应用基础研究计划项目(2024A04J9892)
- DOI：10.7500/AEPS20240808004
  中图分类号：
- 收稿：2024-08-08，
  
  修回：2024-11-27，
  
  网络出版：2025-02-24，
  
  纸质出版：2025-03-25
- 稿件说明：
移动端阅览
陈戈,张俊勃,彭颖等.基于决策空间裁剪强化学习的连锁故障调切结合紧急控制[J].电力系统自动化,2025,49(6):144-156.

CHEN Ge,ZHANG Junbo,PENG Ying,et al.Emergency Control Combined with Adjustment and Tripping Against Cascading Failures Based on Decision Space Pruning Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(6):144-156.
陈戈,张俊勃,彭颖等.基于决策空间裁剪强化学习的连锁故障调切结合紧急控制[J].电力系统自动化,2025,49(6):144-156. DOI： 10.7500/AEPS20240808004.

CHEN Ge,ZHANG Junbo,PENG Ying,et al.Emergency Control Combined with Adjustment and Tripping Against Cascading Failures Based on Decision Space Pruning Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(6):144-156. DOI： 10.7500/AEPS20240808004.

摘要

新能源快速功率控制技术的发展使新能源功率调节具有参与过载主导型连锁故障紧急控制的潜力，而现有基于深度强化学习的连锁故障紧急控制方法未考虑调切结合的控制策略，且存在因决策空间较大而难以收敛的问题。为此，文中提出一种基于决策空间裁剪图深度强化学习的电网连锁故障调切结合紧急控制方法。首先，构建调切结合的映射策略模型，提出连锁故障紧急控制框架；其次，提出基于图卷积深度网络的决策空间裁剪模型及学习方法，根据灵敏度大小保留有控制贡献的控制地点以裁剪决策空间；然后，提出基于图深度强化学习的映射策略模型学习方法，在给定控制地点下实现对控制量的学习；最后，在IEEE 39节点和IEEE 300节点系统中验证所提方法的有效性和泛化性。

Abstract

The development of fast power control technologies for renewable energy makes the power adjustment of renewable energy has the potential to participate in the emergency control against overload-dominated cascading failures. However

the existing deep reinforcement learning based emergency control methods against cascading failures do not consider the control strategies combined adjustment and tripping

and there exists a problem of difficulty in converging with large decision spaces. Therefore

an emergency control method combined with adjustment and tripping against cascading failures in the power grid based on the decision space pruning graph deep reinforcement learning is proposed. First

a mapping strategy model combined adjustment and tripping is established

and an emergency control framework against cascading failures is proposed. Subsequently

a decision space pruning model and its learning method based on the graph convolutional deep network are proposed to prune the decision space by retaining the control locations with control contributions through sensitivity. Then

a learning method for the mapping policy model based on the graph deep reinforcement learning is proposed to learn control quantities under the given control locations. Finally

the effectiveness and generalization of the proposed method are verified in the IEEE 39-bus and IEEE 300-bus systems.

关键词

Keywords

references

姜盛波，杨军，王建雄，等 . 基于预防-紧急协调控制的大电网连锁故障防御策略［J］. 电力自动化设备， 2019 ， 39 （ 12 ）： 148 - 154 .

JIANG Shengbo ， YANG Jun ， WANG Jianxiong ， et al . Defense strategy against large power grid cascading failure based on coordinated preventive-emergency control ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 12 ）： 148 - 154 .

钟海旺，张广伦，程通，等 . 美国得州2021年极寒天气停电事故分析及启示［J］. 电力系统自动化， 2022 ， 46 （ 6 ）： 1 - 9 .

ZHONG Haiwang ， ZHANG Guanglun ， CHENG Tong ， et al . Analysis and enlightenment of extremely cold weather power outage in Texas， U.S. in 2021 ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 6 ）： 1 - 9 .

易俊，卜广全，郭强，等 . 巴西“3·21”大停电事故分析及对中国电网的启示［J］. 电力系统自动化， 2019 ， 43 （ 2 ）： 1 - 6 .

YI Jun ， BU Guangquan ， GUO Qiang ， et al . Analysis on blackout in Brazilian power grid on March 21， 2018 and its enlightenment to power grid in China ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 2 ）： 1 - 6 .

XIE J ， SUN W . Distributional deep reinforcement learning-based emergency frequency control ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 4 ）： 2720 - 2730 .

HUANG Q H ， HUANG R K ， HAO W T ， et al . Adaptive power system emergency control using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1171 - 1182 .

GORDON S ， MCGARRY C ， TAIT J ， et al . Impact of low inertia and high distributed generation on the effectiveness of under frequency load shedding schemes ［J］. IEEE Transactions on Power Delivery ， 2022 ， 37 （ 5 ）： 3752 - 3761 .

HUANG R K ， CHEN Y J ， YIN T ， et al . Accelerated derivative-free deep reinforcement learning for large-scale grid emergency voltage control ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 1 ）： 14 - 25 .

万庆祝，袁润娇，李伊梦，等 . 风光储参与电网预防-紧急控制策略研究［J］. 太阳能学报， 2024 ， 45 （ 4 ）： 404 - 415 .

WAN Qingzhu ， YUAN Runjiao ， LI Yimeng ， et al . Research on power grid prevention-emergency control strategy with wind and solar storage participation ［J］. Acta Energiae Solaris Sinica ， 2024 ， 45 （ 4 ）： 404 - 415 .

柯永超，廖凯，李波，等 . 基于双层优化规划的线路过载控制策略［J］. 电力自动化设备， 2021 ， 41 （ 12 ）： 158 - 165 .

KE Yongchao ， LIAO Kai ， LI Bo ， et al . Line overload control strategy based on bi-level optimization programming ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 12 ）： 158 - 165 .

胡剑，王建，熊小伏，等 . 计及线路动态电热特性的交直流混联电网过载控制策略［J］. 电力系统保护与控制， 2020 ， 48 （ 7 ）： 66 - 75 .

HU Jian ， WANG Jian ， XIONG Xiaofu ， et al . An overload control strategy for AC/DC hybrid power grid considering dynamic electro-thermal characteristics of transmission lines ［J］. Power System Protection and Control ， 2020 ， 48 （ 7 ）： 66 - 75 .

孔祥玉，杨至端，孙裕策，等 . 面向紧急需求响应的规模化灵活资源负荷管理快速决策方法［J/OL］. 电力系统自动化［ 2024-07-13 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20240709.1843.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20240709.1843.002.html .

KONG Xiangyu ， YANG Zhiduan ， SUN Yuce ， et al . Fast decision-making method for load management of large-scale flexible resource for emergency demand response ［J/OL］. Automation of Electric Power Systems ［ 2024-07-13 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20240709.1843.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20240709.1843.002.html .

刘杰，石访，宋雪萌，等 . 基于多变量样本卷积交互网络的电力系统频率安全性评估［J/OL］. 电力系统自动化［ 2024-09-27 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20240927.0929.004.html https://kns.cnki.net/kcms/detail/32.1180.TP.20240927.0929.004.html .

LIU Jie ， SHI Fang ， SONG Xuemeng ， et al . Frequency safety assessment of power systems based on multivariable-sample convolution and interaction network ［J/OL］. Automation of Electric Power Systems ［ 2024-09-27 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20240927.0929.004.html https://kns.cnki.net/kcms/detail/32.1180.TP.20240927.0929.004.html .

王建，吴昊，张博，等 . 不平衡样本下基于迁移学习-AlexNet的输电线路故障辨识方法［J］. 电力系统自动化， 2022 ， 46 （ 22 ）： 182 - 191 .

WANG Jian ， WU Hao ， ZHANG Bo ， et al . Fault identification method for transmission line based on transfer learning-AlexNet with imbalanced samples ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 22 ）： 182 - 191 .

ZHANG H T ， SUN X F ， LEE M H ， et al . Deep reinforcement learning-based active network management and emergency load-shedding control for power systems ［J］. IEEE Transactions on Smart Grid ， 2024 ， 15 （ 2 ）： 1423 - 1437 .

LIU Z ， LIU Y Q ， HE J H ， et al . Double DQN-based power system transient stability emergency control with protection coordinations ［C］// IEEE 6th International Electrical and Energy Conference （CIEEC）， May 12-14 ， 2023 ， Hefei， China .

李宏浩，张沛，刘曌 . 基于深度强化学习的暂态稳定紧急控制决策方法［J］. 电力系统自动化， 2023 ， 47 （ 5 ）： 144 - 152 .

LI Honghao ， ZHANG Pei ， LIU Zhao . Decision-making method for transient stability emergency control based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 5 ）： 144 - 152 .

LI J ， CHEN S ， WANG X ， et al . Load shedding control strategy in power grid emergency state based on deep reinforcement learning ［J］. CSEE Journal of Power and Energy Systems ， 2022 ， 8 （ 4 ）： 1175 - 1182 .

HOSSAIN R R ， HUANG Q H ， HUANG R K . Graph convolutional network-based topology embedded deep reinforcement learning for voltage stability control ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4848 - 4851 .

黄思琪，李长城，康海鹏 . 计及输电线路开断时间的连锁故障快速阻断控制策略［J］. 电力系统自动化， 2023 ， 47 （ 12 ）： 111 - 120 .

HUANG Siqi ， LI Changcheng ， KANG Haipeng . Fast blocking control strategy against cascading failures considering tripping time of transmission lines ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 12 ）： 111 - 120 .

柯德平，冯帅帅，刘福锁，等 . 新能源发电调控参与的送端电网直流闭锁紧急频率控制策略快速优化［J］. 电工技术学报， 2022 ， 37 （ 5 ）： 1204 - 1218 .

KE Deping ， FENG Shuaishuai ， LIU Fusuo ， et al . Rapid optimization for emergent frequency control strategy with the power regulation of renewable energy during the loss of DC connection ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 5 ）： 1204 - 1218 .

国家质量监督检验检疫总局，中国国家标准化管理委员会 . 电能质量供电电压偏差： GB/T 12325—2008 ［S］. 北京：中国标准出版社， 2009 .

General Administration of Quality Supervision ， Inspection and Quarantine of the People’s Republic of China ， Standardization Administration of the People’s Republic of China . Power quality： deviation of supply voltage ： GB/T 12325—2008 ［S］. Beijing ： Standards Press of China ， 2009 .

王锐，顾伟，万秋兰，等 . 考虑二重预想事故的在线电压稳定预防控制［J］. 电力自动化设备， 2010 ， 30 （ 10 ）： 62 - 66 .

WANG Rui ， GU Wei ， WAN Qiulan ， et al . Online preventive control for voltage stability considering supervenient contingency ［J］. Electric Power Automation Equipment ， 2010 ， 30 （ 10 ）： 62 - 66 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

新能源侧电池储能系统运行评价：现状与展望

基于导纳稳定容量的新能源并网强度评估

基于Copula时空相关性模型的新能源容量置信度准时序评估

新型电力系统柔性构网技术及其应用