Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning

JIANG Tao; QIE Zhaohui; LI Wei; LI Zhaowei; WU Xuelian

doi:10.7500/AEPS20241222002

您当前的位置：

首页 >

文章列表页 >

Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning

Application Research | 更新时间：2025-09-25

- Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning
- Automation of Electric Power Systems Vol. 49, Issue 18, Pages: 159-169(2025)
- 作者机构：
  
  1.现代电力系统仿真控制与绿色电能新技术教育部重点实验室（东北电力大学），吉林省吉林市 132012
  2.国网电力科学研究院有限公司（南瑞集团有限公司），江苏省南京市 211106
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5100-202306384A-2-3-XG)
- DOI：10.7500/AEPS20241222002
  CLC：
- Received：22 December 2024，
  
  Revised：2025-03-08，
  
  Published Online：25 June 2025，
  
  Published：25 September 2025
- 稿件说明：
移动端阅览
姜涛,郄朝辉,李威等.基于强化学习的高比例新能源电网多时段在线预防控制策略[J].电力系统自动化,2025,49(18):159-169.

JIANG Tao,QIE Zhaohui,LI Wei,et al.Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):159-169.
姜涛,郄朝辉,李威等.基于强化学习的高比例新能源电网多时段在线预防控制策略[J].电力系统自动化,2025,49(18):159-169. DOI： 10.7500/AEPS20241222002.

JIANG Tao,QIE Zhaohui,LI Wei,et al.Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):159-169. DOI： 10.7500/AEPS20241222002.

摘要

随着新能源渗透率持续提升，新能源机组出力预测误差导致电网实际运行方式与计划运行方式之间的偏差不断扩大，尤其是未来多个时段的运行方式偏差会加剧电网不满足

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=90318722&type=

2.87866688

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=90318723&type=

9.65200043

准则的风险。现有单时段在线预防控制策略未充分利用多时段预测信息，难以有效地识别和削减多时段电网安全隐患。为此，提出了一种高比例新能源电网多时段在线预防控制策略，将监测信息从单一时间断面扩展至多个时间断面，实现对储能机组充放电、常规机组启停等长周期资源的控制时序优化，有效改善由实际运行方式偏差引发的多时段电网安全风险。通过离线训练与在线决策相结合来降低在线优化决策的计算量，并进一步结合融合先验知识的强化学习算法加快预防控制序列优化速度。实际电网算例验证表明，所提策略能够显著提升电网运行的安全性与稳定性，为高比例新能源电网安全运行提供了新的解决方案。

Abstract

With the continuous increase in the penetration rate of renewable energy

the prediction error of the output of renewable energy units leads to continuously widening the deviation between the actual operation mode and the planned operation mode of the power grid. Especially for future multiple periods

the deviation of the operation mode may intensify the risk that the power grid does not meet the

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=90318724&type=

2.45533323

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=90318713&type=

8.29733276

criterion. The current single-period online preventive control strategy does not make full use of multi-period prediction information

making it difficult to effectively identify and reduce multi-period power grid safety hazards. To this end

a multi-period online preventive control strategy for power grid with high proportion of renewable energy

is proposed. The monitoring information is expanded from a single time period to multiple periods

achieving the optimization of the control timing for long-period resources such as the charging and discharging of energy storage units and the start and stop of conventional units

effectively improving the multi-period power grid safety caused by deviations in actual operation modes. By combining the offline training with online decision-making

the computational burden of online optimization decisions is reduced

and the optimization of preventive control sequences is further accelerated by integrating reinforcement learning algorithms fused with prior knowledge. The verification of actual power grid case shows that the proposed strategy can significantly enhance the safety and stability of the power grid operation

providing a new solution for the safe operation of power grid with high proportion of renewable energy.

关键词

Keywords

references

国家能源局 . 国家能源局发布2024年全国电力工业统计数据［EB/OL］.［ 2025-01-21 ］. https：//www.nea.gov.cn/20250121/097bfd7c1cd3498897639857d86d5dac/c.html https://www.nea.gov.cn/20250121/097bfd7c1cd3498897639857d86d5dac/c.html .

National Energy Administration . National Energy Administration releases statistical data on the national power industry for 2024 ［EB/OL］.［ 2025-01-01 ］. https：//www.nea.gov.cn/20250121/097bfd7c1cd3498897639857d86d5dac/c.html https://www.nea.gov.cn/20250121/097bfd7c1cd3498897639857d86d5dac/c.html .

国网能源研究院有限公司 . 国网能源院发布《新型电力系统发展分析报告2024》［EB/OL］.［ 2025-01-01 ］. http：//www.sgeri.sgcc.com.cn/html/sgeri/gb/yjcg/zxcgjj/20241104/4666222024 11041727000004.shtml http://www.sgeri.sgcc.com.cn/html/sgeri/gb/yjcg/zxcgjj/20241104/466622202411041727000004.shtml .

State Grid Energy Research Institute Co.， Ltd . State Grid Energy Research Institute Co. ， Ltd. releases “New Power System Development Analysis Report in 2024 ”［EB/OL］.［ 2025-01-21 ］. http：//www.sgeri.sgcc.com.cn/html/sgeri/gb/yjcg/zxcgjj/20241104/466622202411041727000004.shtml http://www.sgeri.sgcc.com.cn/html/sgeri/gb/yjcg/zxcgjj/20241104/466622202411041727000004.shtml .

黄馨仪，刘明波，林舜江，等 . 考虑风电不确定性的输配电系统鲁棒经济调度分布式算法［J］. 电力系统自动化， 2025 ， 49 （ 4 ）： 165 - 177 .

HUANG Xinyi ， LIU Mingbo ， LIN Shunjiang ， et al . Distributed algorithm for robust economic dispatch of integrated transmission and distribution system considering wind power uncertainty ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 4 ）： 165 - 177 .

舒印彪，陈国平，贺静波，等 . 构建以新能源为主体的新型电力系统框架研究［J］. 中国工程科学， 2021 ， 23 （ 6 ）： 61 - 69 .

SHU Yinbiao ， CHEN Guoping ， HE Jingbo ， et al . Building a new electric power system based on new energy sources ［J］. Strategic Study of CAE ， 2021 ， 23 （ 6 ）： 61 - 69 .

ZHOU Y Z ， WU J Y ， JI L Y ， et al . Transient stability preventive control of power systems using chaotic particle swarm optimization combined with two-stage support vector machine ［J］. Electric Power Systems Research ， 2018 ， 155 ： 111 - 120 .

文云峰 . 计及预想故障的电力系统风险调度模型与方法研究［D］. 杭州：浙江大学， 2015 .

WEN Yunfeng . Model and algorithm for risk-based dispatch in power systems considering credible contingencies ［D］. Hangzhou ： Zhejiang University ， 2015 .

鲍颜红，徐泰山，周华，等 . 一种安全稳定紧急调控在线预决策方法［J］. 中国电力， 2019 ， 52 （ 8 ）： 91 - 97 .

BAO Yanhong ， XU Taishan ， ZHOU Hua ， et al . An online pre-decision method for security and stability emergency regulation ［J］. Electric Power ， 2019 ， 52 （ 8 ）： 91 - 97 .

许超 . 考虑不确定性的电力系统稳态分析与优化运行［D］. 南京：东南大学， 2017 .

XU Chao . Power system steady state analysis and optimal operation considering uncertainty ［D］. Nanjing ： Southeast University ， 2017 .

LIU C X ， SUN K ， RATHER Z H ， et al . A systematic approach for dynamic security assessment and the corresponding preventive control scheme based on decision trees ［J］. IEEE Transactions on Power Systems ， 2014 ， 29 （ 2 ）： 717 - 730 .

鲍颜红，张金龙，徐泰山，等 . 考虑风电出力不确定性的在线暂态稳定风险评估方法［J］. 南方电网技术， 2021 ， 15 （ 11 ）： 42 - 48 .

BAO Yanhong ， ZHANG Jinlong ， XU Taishan ， et al . Online transient stability risk assessment method considering the uncertainty of wind power output ［J］. Southern Power System Technology ， 2021 ， 15 （ 11 ）： 42 - 48 .

鲍颜红，张金龙，衣立东，等 . 含大规模风电电力系统的安全稳定风险预防控制方法［J］. 电力系统自动化， 2022 ， 46 （ 13 ）： 187 - 194 .

BAO Yanhong ， ZHANG Jinlong ， YI Lidong ， et al . Prevention and control method of security and stability risk for power system with large-scale wind power integration ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 13 ）： 187 - 194 .

周艳真，吴俊勇，冀鲁豫，等 . 基于两阶段支持向量机的电力系统暂态稳定预测及预防控制［J］. 中国电机工程学报， 2018 ， 38 （ 1 ）： 137 - 147 .

ZHOU Yanzhen ， WU Junyong ， JI Luyu ， et al . Two-stage support vector machines for transient stability prediction and preventive control of power systems ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 1 ）： 137 - 147 .

田芳，周孝信，史东宇，等 . 基于卷积神经网络的电力系统暂态稳定预防控制方法［J］. 电力系统保护与控制， 2020 ， 48 （ 18 ）： 1 - 8 .

TIAN Fang ， ZHOU Xiaoxin ， SHI Dongyu ， et al . A preventive control method of power system transient stability based on a convolutional neural network ［J］. Power System Protection and Control ， 2020 ， 48 （ 18 ）： 1 - 8 .

关慧哲，陈颖，黄少伟，等 . 基于生成对抗网络的暂态稳定预防控制［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 36 - 43 .

GUAN Huizhe ， CHEN Ying ， HUANG Shaowei ， et al . Preventive control for transient stability based on generative adversarial network ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 36 - 43 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

张磊，吴红斌，何叶，等 . 基于深度强化学习的氢能综合能源系统优化调度方法［J］. 电力系统自动化， 2024 ， 48 （ 16 ）： 132 - 141 .

ZHANG Lei ， WU Hongbin ， HE Ye ， et al . Optimal scheduling method for integrated energy systems with hydrogen based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 16 ）： 132 - 141 .

牛哲文，冀岳，李柏堉，等 . 基于优势函数分解多智能体深度强化学习的电力系统暂态稳定预防控制方法［J］. 电网技术， 2025 ， 49 （ 6 ）： 2311 - 2321 .

NIU Zhewen ， JI Yue ， LI Boyu ， et al . Preventive control method of power system transient stability based on multi-agent deep reinforcement learning with advantage decomposition ［J］. Power System Technology ， 2025 ， 49 （ 6 ）： 2311 - 2321 .

崔晗 . 数据驱动的电网安全智能调控策略研究［D］. 南京：东南大学， 2023 .

CUI Han . Research on power system security dispatch and control based on data-driven methods ［D］. Nanjing ： Southeast University ， 2023 .

许涛，王国春，董昱，等 . 新型电力系统平衡机理及演进过程研究［J］. 中国电机工程学报， 2025 ， 45 （ 1 ）： 1 - 14 .

XU Tao ， WANG Guochun ， DONG Yu ， et al . Research on power balance mechanism and evolution of new power system ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 1 ）： 1 - 14 .

吴文传，许书伟，杨越，等 . 风险量化的高比例新能源电力系统概率调度［J］. 电力系统自动化， 2023 ， 47 （ 15 ）： 3 - 11 .

WU Wenchuan ， XU Shuwei ， YANG Yue ， et al . Risk-quantified probabilistic dispatch for power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 15 ）： 3 - 11 .

王思颖 . 基于深度强化学习的多智能体协同算法关键技术研究［D］. 成都：电子科技大学， 2023 .

WANG Siying . Research on the key technology of multi-agent collaborative algorithm based on deep reinforcement learning ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2023 .

国家标准化管理委员会 . 电力系统安全稳定导则： GB 38755—2019 ［S］. 北京：中国标准出版社， 2019 .

Standardization Administration of the People’s Republic of China . Code on security and stability for power system ： GB 38755—2019 ［S］. Beijing ： Standards Press of China ， 2019 .

吕帅，龚晓宇，张正昊，等 . 结合进化算法的深度强化学习方法研究综述［J］. 计算机学报， 2022 ， 45 （ 7 ）： 1478 - 1499 .

LÜ Shuai ， GONG Xiaoyu ， ZHANG Zhenghao ， et al . Survey of deep reinforcement learning methods with evolutionary algorithms ［J］. Chinese Journal of Computers ， 2022 ， 45 （ 7 ）： 1478 - 1499 .

ARULKUMARAN K ， DEISENROTH M P ， BRUNDAGE M ， et al . Deep reinforcement learning： a brief survey ［J］. IEEE Signal Processing Magazine ， 2017 ， 34 （ 6 ）： 26 - 38 .

黄立威，江碧涛，吕守业，等 . 基于深度学习的推荐系统研究综述［J］. 计算机学报， 2018 ， 41 （ 7 ）： 1619 - 1647 .

HUANG Liwei ， JIANG Bitao ， LÜ Shouye ， et al . Survey on deep learning based recommender systems ［J］. Chinese Journal of Computers ， 2018 ， 41 （ 7 ）： 1619 - 1647 .

HUANG S Y ， ONTAÑÓN S . A closer look at invalid action masking in policy gradient algorithms ［J］. The International FLAIRS Conference Proceedings ， 2022 ， 35 ： 1 - 12 .

曾令康 . 基于强化学习的复杂电力系统安全评估与稳定控制［D］. 武汉：华中科技大学， 2022 .

ZENG Lingkang . Security assessment and stability control for complex power system based on reinforcement learning ［D］. Wuhan ： Huazhong University of Science and Technology ， 2022 .

周鑫，马晓伟，牛拴保，等 . 西北省间实时平衡电力市场探索［J］. 电力系统自动化， 2021 ， 45 （ 15 ）： 166 - 171 .

ZHOU Xin ， MA Xiaowei ， NIU Shuanbao ， et al . Exploration of cross-provincial real-time balancing electricity market in northwest China ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 15 ）： 166 - 171 .

汤蕾，沈沉，张雪敏 . 大规模风电集中接入对电力系统暂态功角稳定性的影响（二）：影响因素分析［J］. 中国电机工程学报， 2015 ， 35 （ 16 ）： 4043 - 4051 .

TANG Lei ， SHEN Chen ， ZHANG Xuemin . Impact of large-scale wind power centralized integration on transient angle stability of power systems （Ⅱ）： factors affecting transient angle stability ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 16 ）： 4043 - 4051 .

蔺伟山，王小君，孙庆凯，等 . 不确定性环境下基于深度强化学习的综合能源系统动态调度［J］. 电力系统保护与控制， 2022 ， 50 （ 18 ）： 50 - 60 .

LIN Weishan ， WANG Xiaojun ， SUN Qingkai ， et al . Dynamic dispatch of an integrated energy system based on deep reinforcement learning in an uncertain environment ［J］. Power System Protection and Control ， 2022 ， 50 （ 18 ）： 50 - 60 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Identification Method for Key Operational Risks of Cascade Hydropower Stations for Integration of Basin Hydro-Wind-Solar Power

计及多重不确定性的新能源基地工程输电价格优化模型

Dual-data-model-driven Distributionally Robust Optimal Scheduling of Renewable Energy Microgrid

Review of Static Modeling and Quantitative Analysis Methods for Uncertainties of New Power Systems

Related Author

WANG Mingbo

ZHANG Juntao

CAO Hui

CHENG Chuntian

XU Yang

WANG Qianchen

SUN Yiding

LIU Dong

Related Institution

Institute of Hydropower System & Hydroinformatics, Dalian University of Technology

China Yangtze Power Co., Ltd.

School of Information Engineering, Zhejiang University of Technology

Electric Power Research Institute of State Grid Zhejiang Electric Power Co., Ltd.

⁰