Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning

LI Jiaxu; WU Junyong; SHI Fashun; ZHANG Zhenyuan; LI Lusu

doi:10.7500/AEPS20250611008

您当前的位置：

首页 >

文章列表页 >

Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning

Basic Research | 更新时间：2026-02-28

- Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 50, Issue 1, Pages: 97-107(2026)
- 作者机构：
  
  1.北京交通大学电气工程学院，北京市 100044
  2.清华大学电机工程与应用电子技术系，北京市 100084
  3.石家庄学院机电学院，河北省石家庄市 050035
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(SGLNDK00KJJS1800236)
- DOI：10.7500/AEPS20250611008
  CLC：
- Received：11 June 2025，
  
  Revised：2025-08-27，
  
  Online First：31 October 2025，
  
  Published：10 January 2026
- 稿件说明：
移动端阅览
李佳旭,吴俊勇,史法顺等.基于知识嵌入型深度强化学习的电力系统频率紧急控制方法[J].电力系统自动化,2026,50(1):97-107.

LI Jiaxu,WU Junyong,SHI Fashun,et al.Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(1):97-107.
李佳旭,吴俊勇,史法顺等.基于知识嵌入型深度强化学习的电力系统频率紧急控制方法[J].电力系统自动化,2026,50(1):97-107. DOI： 10.7500/AEPS20250611008.

LI Jiaxu,WU Junyong,SHI Fashun,et al.Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(1):97-107. DOI： 10.7500/AEPS20250611008.

摘要

随着新型电力系统建设的快速推进，电力系统频率安全面临的挑战愈发严峻，当系统发生故障导致频率失稳时，采取紧急控制恢复频率稳定至关重要。文中提出一种基于知识嵌入型深度强化学习(DRL)的电力系统频率紧急控制方法。首先，将频率紧急控制问题转化为马尔可夫模型，以仿真系统为强化学习环境，并基于深度确定性策略梯度(DDPG)算法构建深度强化学习智能体。此外，通过理论知识引导动作空间优化，综合考虑高频切机与低频减载两类场景。最后，在IEEE 39节点系统中进行控制效果测试，结果表明：深度强化学习智能体能够给出有效的频率紧急控制策略，维护系统频率安全；知识嵌入的方法改善了模型的训练稳定性，能显著提高智能体的策略学习效率与决策质量。

Abstract

The rapid development of new power systems has exacerbated frequency security challenges

making emergency control crucial for restoring stability during faults. This paper proposes a power system emergency frequency control method based on knowledge-embedded deep reinforcement learning. First

the emergency frequency control problem is formulated as a Markov decision process

with a simulation system serving as the reinforcement learning environment

and a deep reinforcement learning (DRL) agent is constructed based on the deep deterministic policy gradient (DDPG) algorithm. Furthermore

theoretical knowledge guides the action space optimization

integrating both over-frequency generator tripping and under-frequency load shedding scenarios. Finally

the proposed method is validated on the IEEE 39-bus system

demonstrating that the DRL agent can generate effective emergency frequency control strategies to ensure system security

and the knowledge-embedded technique enhances training stability and significantly improves policy learning efficiency and decision quality.

关键词

Keywords

references

刘懿诗，迟永宁，刘超，等 . 计及送端风电调频能力的交直流混合电网频率紧急控制策略［J］. 电力系统自动化， 2025 ， 49 （ 8 ）： 97 - 109 .

LIU Yishi ， CHI Yongning ， LIU Chao ， et al . Frequency emergency control strategy for AC/DC hybrid power grids considering frequency regulation capability of wind power at sending end ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 8 ）： 97 - 109 .

马宁嘉，谢小荣，孙谊媊，等 . 新能源电力系统频率时空分布特性分析［J］. 高电压技术， 2024 ， 50 （ 1 ）： 406 - 413 .

MA Ningjia ， XIE Xiaorong ， SUN Yiqian ， et al . Analysis of frequency space-time distribution characteristics of power systems with renewables ［J］. High Voltage Engineering ， 2024 ， 50 （ 1 ）： 406 - 413 .

朱昭丞，陈渊睿，曾君，等 . 考虑频率二次跌落和风速差异的风储联合持续调频控制策略［J］. 电力系统自动化， 2025 ， 49 （ 14 ）： 76 - 86 .

ZHU Zhaocheng ， CHEN Yuanrui ， ZENG Jun ， et al . Wind turbine-energy storage coordinated sustained frequency regulation control strategy considering secondary frequency drop and wind speed variation ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 14 ）： 76 - 86 .

LI C G ， WU Y ， SUN Y L ， et al . Continuous under-frequency load shedding scheme for power system adaptive frequency control ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 2 ）： 950 - 961 .

ELYASICHAMAZKOTI F ， TEIMOURZADEH S ， AMINIFAR F . Optimal distribution of power grid under-frequency load shedding with security considerations ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 5 ）： 4110 - 4112 .

KETABI A ， FINI M H . An underfrequency load shedding scheme for hybrid and multiarea power systems ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 1 ）： 82 - 91 .

BANIJAMALI S S ， AMRAEE T . Semi-adaptive setting of under frequency load shedding relays considering credible generation outage scenarios ［J］. IEEE Transactions on Power Delivery ， 2019 ， 34 （ 3 ）： 1098 - 1108 .

李顺，廖清芬，刘涤尘，等 . 基于WAMS的自适应低频减载动态优化策略［J］. 电力系统保护与控制， 2016 ， 44 （ 13 ）： 48 - 54 .

LI Shun ， LIAO Qingfen ， LIU Dichen ， et al . WAMS based dynamic optimization of adaptive under-frequency load shedding ［J］. Power System Protection and Control ， 2016 ， 44 （ 13 ）： 48 - 54 .

SUN M Y ， LIU G Y ， POPOV M ， et al . Underfrequency load shedding using locally estimated RoCoF of the center of inertia ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4212 - 4222 .

葛宜然，葛愿，黄超 . 基于模糊控制器的孤岛微网低频减载策略研究［J］. 安徽工程大学学报， 2016 ， 31 （ 5 ）： 80 - 84 .

GE Yiran ， GE Yuan ， HUANG Chao . Study on underfrequency load shedding strategy for islanded microgrid based on fuzzy controller ［J］. Journal of Anhui Polytechnic University ， 2016 ， 31 （ 5 ）： 80 - 84 .

李鹏飞，顾雪平，杨超，等 . 考虑潮流转移对系统影响的低频减载方案优化［J］. 电力系统保护与控制， 2018 ， 46 （ 18 ）： 156 - 163 .

LI Pengfei ， GU Xueping ， YANG Chao ， et al . Optimization of low-frequency load shedding scheme considering the influence of power flow transferring on the power system ［J］. Power System Protection and Control ， 2018 ， 46 （ 18 ）： 156 - 163 .

柏丹丹，和敬涵，王小君，等 . 基于灰色关联分析的自适应低频减载［J］. 电力系统保护与控制， 2014 ， 42 （ 6 ）： 20 - 25 .

BAI Dandan ， HE Jinghan ， WANG Xiaojun ， et al . Adaptive UFLS scheme based on grey correlation analysis ［J］. Power System Protection and Control ， 2014 ， 42 （ 6 ）： 20 - 25 .

孙毅，李泽坤，黄绍模，等 . 基于分布式需求侧资源备调池的低频减载优化策略研究［J］. 电网技术， 2020 ， 44 （ 3 ）： 1016 - 1026 .

SUN Yi ， LI Zekun ， HUANG Shaomo ， et al . An improved UFLS strategy based on distributed demand side resource pools ［J］. Power System Technology ， 2020 ， 44 （ 3 ）： 1016 - 1026 .

李静波 . 低频减载在线整定系统［D］. 杭州：浙江大学， 2019 .

LI Jingbo . Online setting scheme system of under frequency load shedding ［D］. Hangzhou ： Zhejiang University ， 2019 .

周智行，石立宝，陈义宣 . 异步联网下云南电网高频切机优化配置方案［J］. 电力系统自动化， 2020 ， 44 （ 20 ）： 86 - 93 .

ZHOU Zhihang ， SHI Libao ， CHEN Yixuan . Optimal configuration scheme of over-frequency generator tripping for Yunnan power grid of China with asynchronous interconnection ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 20 ）： 86 - 93 .

姜惠兰，李希钰，肖瑞 . 考虑备切机组涉频特性的高频切机优化方法［J］. 电力系统及其自动化学报， 2023 ， 35 （ 1 ）： 103 - 110 .

JIANG Huilan ， LI Xiyu ， XIAO Rui . Optimization method for over-frequency generator tripping considering frequency related characteristics of standby unit ［J］. Proceedings of the CSU-EPSA ， 2023 ， 35 （ 1 ）： 103 - 110 .

CAI Guowei ， ZHOU Shuyu ， LIU Cheng ， et al . Hierarchical under frequency load shedding scheme for inter-connected power systems ［J］. Protection and Control of Modern Power Systems ， 2023 ， 8 （ 1 ）： 34 .

孙检，廖凯，何正友，等 . 兼顾超低频振荡抑制与一次调频的水电集群参数优化方法［J］. 电力系统自动化， 2025 ， 49 （ 16 ）： 120 - 131 .

SUN Jian ， LIAO Kai ， HE Zhengyou ， et al . Parameter optimization method for hydropower clusters balancing ultra-low-frequency oscillation suppression and primary frequency regulation ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 16 ）： 120 - 131 .

XIE Jian ， SUN Wei . Distributional deep reinforcement learning-based emergency frequency control ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 4 ）： 2720 - 2730 .

CHEN Chunyu ， CUI Mingjian ， LI Fangxing ， et al . Model-free emergency frequency control based on rein-forcement learning ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 4 ）： 2336 - 2346 .

LI Jiawen ， CHENG Yuanyuan . Deep meta-reinforcement learning-based data-driven active fault tolerance load frequency control for islanded microgrids considering internet of things ［J］. IEEE Internet of Things Journal ， 2024 ， 11 （ 6 ）： 10295 - 10303 .

李佳旭，吴俊勇，李栌苏，等 . 电力系统频率安全评估与紧急控制研究综述［J］. 高电压技术， 2025 ， 51 （ 4 ）： 1817 - 1833 .

LI Jiaxu ， WU Junyong ， LI Lusu ， et al . Review on frequency safety assessment and emergency control of power system ［J］. High Voltage Engineering ， 2025 ， 51 （ 4 ）： 1817 - 1833 .

张有兵，林一航，黄冠弘，等 . 深度强化学习在微电网系统调控中的应用综述［J］. 电网技术， 2023 ， 47 （ 7 ）： 2774 - 2788 .

ZHANG Youbing ， LIN Yihang ， HUANG Guanhong ， et al . Review on applications of deep reinforcement learning in regulation of microgrid systems ［J］. Power System Technology ， 2023 ， 47 （ 7 ）： 2774 - 2788 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Jinlong ， JIANG Yun ， PAN Hongren ， et al . Path planning in complex environments using attention-based deep deterministic policy gradient ［J］. Electronics ， 2024 ， 13 （ 18 ）， 3746 .

赵鹏杰，吴俊勇，王燚，等 . 基于深度强化学习的微电网优化运行策略［J］. 电力自动化设备， 2022 ， 42 （ 11 ）： 9 - 16 .

ZHAO Pengjie ， WU Junyong ， WANG Yi ， et al . Optimal operation strategy of microgrid based on deep reinforcement learning ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 11 ）： 9 - 16 .

JING Xianyong ， CONG Fuzhong ， HUANG Jichuan ， et al . Autonomous maneuvering decision-making algorithm for unmanned aerial vehicles based on node clustering and deep deterministic policy gradient ［J］. Aerospace 2024 ， 11 （ 12 ）， 1055 .

王一迪，李立新，於益军，等 . 基于深度强化学习的电力系统安全校正控制［J］. 电力系统自动化， 2023 ， 47 （ 12 ）： 121 - 129 .

WANG Yidi ， LI Lixin ， YU Yijun ， et al . Power system security correction control based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 12 ）： 121 - 129 .

凌文辉，牟春晖，聂聆聪，等 . 基于改进DDPG的宽速域几何可调燃烧室压力分布控制［J］. 航空学报， 2025 ， 46 （ 12 ）： 102 - 117 .

LING Wenhui ， MU Chunhui ， NIE Lingcong ， et al . Improved DDPG-based multipoint pressure distribution control of scram jet variable geometry combustor with wide range velocity ［J］. Acta Aeronautica et Astronautica Sinica ， 2025 ， 46 （ 12 ）： 102 - 117 .

王凤英，陈莹，袁帅，等 . 自注意力机制结合DDPG的机器人路径规划研究［J］. 计算机工程与应用， 2024 ， 60 （ 19 ）： 158 - 166 .

WANG Fengying ， CHEN Ying ， YUAN Shuai ， et al . Robot path planning based on self-attention mechanism combined with DDPG ［J］. Computer Engineering and Applications ， 2024 ， 60 （ 19 ）： 158 - 166 .

李舟平，曾令康，姚伟，等 . 基于知识融合和深度强化学习的智能紧急切机决策［J］. 中国电机工程学报， 2024 ， 44 （ 5 ）： 1675 - 1688 .

LI Zhouping ， ZENG Lingkang ， YAO Wei ， et al . Intelligent emergency generator rejection schemes based on knowledge fusion and deep reinforcement learning ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 5 ）： 1675 - 1688 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Analysis of Frequency Dynamic Distribution Characteristics in Chain-structured Power System with Wind Power

Preliminary Study on Probabilistic Indicators for Frequency Security of Power Systems Under Large Disturbances

Retrospect and Prospect of Artificial Intelligence for Electric Power System —From Domain Intelligence to General Intelligence

Evaluation of Minimum Inertia Requirement of Power System Considering Source-Load Inertia Characteristics

Related Author

AN Jun

SHI Yan

CAO Shuai

ZHOU Yibo

LI Kexin

ZHANG Wanxiang

LI Weidong

WANG Xiangxu

Related Institution

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

Northeast Branch of State Grid Corporation of China

School of Electrical Engineering, Dalian University of Technology

Yingkou Electric Power Supply Company, State Grid Liaoning Electric Power Co., Ltd.

Novel Electric Power System (Beijing) Research Institute of China Southern Power Grid

⁰