基于知识嵌入型深度强化学习的电力系统频率紧急控制方法

李佳旭; 吴俊勇; 史法顺; 张振远; 李栌苏

doi:10.7500/AEPS20250611008

您当前的位置：

首页 >

文章列表页 >

基于知识嵌入型深度强化学习的电力系统频率紧急控制方法

学术研究 | 更新时间：2026-02-28

- 基于知识嵌入型深度强化学习的电力系统频率紧急控制方法
- Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning
- 电力系统自动化 2026年50卷第1期页码：97-107
- 作者机构：
  
  1.北京交通大学电气工程学院，北京市 100044
  2.清华大学电机工程与应用电子技术系，北京市 100084
  3.石家庄学院机电学院，河北省石家庄市 050035
- 作者简介：
  
  李佳旭(1996—)，男，博士研究生，主要研究方向：深度学习、强化学习、电力系统频率安全评估与紧急控制。E-mail：22110454@bjtu.edu.cn
  吴俊勇(1966—)，男，通信作者，教授，博士生导师，主要研究方向：电力系统分析与控制、智能电网、主动配电网、能源互联网，人工智能在电力系统中的应用。E-mail：wujy@bjtu.edu.cn
  史法顺(1997—)，男，博士，助理研究员，主要研究方向：电力系统分析与控制、电力市场、人工智能伦理增强技术。E-mail：shi_fashun@tsinghua.edu.cn
- 基金信息：
  
  国家重点研发计划资助项目(2018YFB0904500);国家电网有限公司科技项目(SGLNDK00KJJS1800236)
- DOI：10.7500/AEPS20250611008
  中图分类号：
- 收稿：2025-06-11，
  
  修回：2025-08-27，
  
  网络首发：2025-10-31，
  
  纸质出版：2026-01-10
- 稿件说明：
移动端阅览
李佳旭,吴俊勇,史法顺等.基于知识嵌入型深度强化学习的电力系统频率紧急控制方法[J].电力系统自动化,2026,50(1):97-107.

LI Jiaxu,WU Junyong,SHI Fashun,et al.Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(1):97-107.
李佳旭,吴俊勇,史法顺等.基于知识嵌入型深度强化学习的电力系统频率紧急控制方法[J].电力系统自动化,2026,50(1):97-107. DOI： 10.7500/AEPS20250611008.

LI Jiaxu,WU Junyong,SHI Fashun,et al.Emergency Frequency Control Method for Power Systems Based on Knowledge-embedded Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(1):97-107. DOI： 10.7500/AEPS20250611008.

摘要

随着新型电力系统建设的快速推进，电力系统频率安全面临的挑战愈发严峻，当系统发生故障导致频率失稳时，采取紧急控制恢复频率稳定至关重要。文中提出一种基于知识嵌入型深度强化学习(DRL)的电力系统频率紧急控制方法。首先，将频率紧急控制问题转化为马尔可夫模型，以仿真系统为强化学习环境，并基于深度确定性策略梯度(DDPG)算法构建深度强化学习智能体。此外，通过理论知识引导动作空间优化，综合考虑高频切机与低频减载两类场景。最后，在IEEE 39节点系统中进行控制效果测试，结果表明：深度强化学习智能体能够给出有效的频率紧急控制策略，维护系统频率安全；知识嵌入的方法改善了模型的训练稳定性，能显著提高智能体的策略学习效率与决策质量。

Abstract

The rapid development of new power systems has exacerbated frequency security challenges

making emergency control crucial for restoring stability during faults. This paper proposes a power system emergency frequency control method based on knowledge-embedded deep reinforcement learning. First

the emergency frequency control problem is formulated as a Markov decision process

with a simulation system serving as the reinforcement learning environment

and a deep reinforcement learning (DRL) agent is constructed based on the deep deterministic policy gradient (DDPG) algorithm. Furthermore

theoretical knowledge guides the action space optimization

integrating both over-frequency generator tripping and under-frequency load shedding scenarios. Finally

the proposed method is validated on the IEEE 39-bus system

demonstrating that the DRL agent can generate effective emergency frequency control strategies to ensure system security

and the knowledge-embedded technique enhances training stability and significantly improves policy learning efficiency and decision quality.

关键词

Keywords

references

刘懿诗，迟永宁，刘超，等 . 计及送端风电调频能力的交直流混合电网频率紧急控制策略［J］. 电力系统自动化， 2025 ， 49 （ 8 ）： 97 - 109 .

LIU Yishi ， CHI Yongning ， LIU Chao ， et al . Frequency emergency control strategy for AC/DC hybrid power grids considering frequency regulation capability of wind power at sending end ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 8 ）： 97 - 109 .

马宁嘉，谢小荣，孙谊媊，等 . 新能源电力系统频率时空分布特性分析［J］. 高电压技术， 2024 ， 50 （ 1 ）： 406 - 413 .

MA Ningjia ， XIE Xiaorong ， SUN Yiqian ， et al . Analysis of frequency space-time distribution characteristics of power systems with renewables ［J］. High Voltage Engineering ， 2024 ， 50 （ 1 ）： 406 - 413 .

朱昭丞，陈渊睿，曾君，等 . 考虑频率二次跌落和风速差异的风储联合持续调频控制策略［J］. 电力系统自动化， 2025 ， 49 （ 14 ）： 76 - 86 .

ZHU Zhaocheng ， CHEN Yuanrui ， ZENG Jun ， et al . Wind turbine-energy storage coordinated sustained frequency regulation control strategy considering secondary frequency drop and wind speed variation ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 14 ）： 76 - 86 .

LI C G ， WU Y ， SUN Y L ， et al . Continuous under-frequency load shedding scheme for power system adaptive frequency control ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 2 ）： 950 - 961 .

ELYASICHAMAZKOTI F ， TEIMOURZADEH S ， AMINIFAR F . Optimal distribution of power grid under-frequency load shedding with security considerations ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 5 ）： 4110 - 4112 .

KETABI A ， FINI M H . An underfrequency load shedding scheme for hybrid and multiarea power systems ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 1 ）： 82 - 91 .

BANIJAMALI S S ， AMRAEE T . Semi-adaptive setting of under frequency load shedding relays considering credible generation outage scenarios ［J］. IEEE Transactions on Power Delivery ， 2019 ， 34 （ 3 ）： 1098 - 1108 .

李顺，廖清芬，刘涤尘，等 . 基于WAMS的自适应低频减载动态优化策略［J］. 电力系统保护与控制， 2016 ， 44 （ 13 ）： 48 - 54 .

LI Shun ， LIAO Qingfen ， LIU Dichen ， et al . WAMS based dynamic optimization of adaptive under-frequency load shedding ［J］. Power System Protection and Control ， 2016 ， 44 （ 13 ）： 48 - 54 .

SUN M Y ， LIU G Y ， POPOV M ， et al . Underfrequency load shedding using locally estimated RoCoF of the center of inertia ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4212 - 4222 .

葛宜然，葛愿，黄超 . 基于模糊控制器的孤岛微网低频减载策略研究［J］. 安徽工程大学学报， 2016 ， 31 （ 5 ）： 80 - 84 .

GE Yiran ， GE Yuan ， HUANG Chao . Study on underfrequency load shedding strategy for islanded microgrid based on fuzzy controller ［J］. Journal of Anhui Polytechnic University ， 2016 ， 31 （ 5 ）： 80 - 84 .

李鹏飞，顾雪平，杨超，等 . 考虑潮流转移对系统影响的低频减载方案优化［J］. 电力系统保护与控制， 2018 ， 46 （ 18 ）： 156 - 163 .

LI Pengfei ， GU Xueping ， YANG Chao ， et al . Optimization of low-frequency load shedding scheme considering the influence of power flow transferring on the power system ［J］. Power System Protection and Control ， 2018 ， 46 （ 18 ）： 156 - 163 .

柏丹丹，和敬涵，王小君，等 . 基于灰色关联分析的自适应低频减载［J］. 电力系统保护与控制， 2014 ， 42 （ 6 ）： 20 - 25 .

BAI Dandan ， HE Jinghan ， WANG Xiaojun ， et al . Adaptive UFLS scheme based on grey correlation analysis ［J］. Power System Protection and Control ， 2014 ， 42 （ 6 ）： 20 - 25 .

孙毅，李泽坤，黄绍模，等 . 基于分布式需求侧资源备调池的低频减载优化策略研究［J］. 电网技术， 2020 ， 44 （ 3 ）： 1016 - 1026 .

SUN Yi ， LI Zekun ， HUANG Shaomo ， et al . An improved UFLS strategy based on distributed demand side resource pools ［J］. Power System Technology ， 2020 ， 44 （ 3 ）： 1016 - 1026 .

李静波 . 低频减载在线整定系统［D］. 杭州：浙江大学， 2019 .

LI Jingbo . Online setting scheme system of under frequency load shedding ［D］. Hangzhou ： Zhejiang University ， 2019 .

周智行，石立宝，陈义宣 . 异步联网下云南电网高频切机优化配置方案［J］. 电力系统自动化， 2020 ， 44 （ 20 ）： 86 - 93 .

ZHOU Zhihang ， SHI Libao ， CHEN Yixuan . Optimal configuration scheme of over-frequency generator tripping for Yunnan power grid of China with asynchronous interconnection ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 20 ）： 86 - 93 .

姜惠兰，李希钰，肖瑞 . 考虑备切机组涉频特性的高频切机优化方法［J］. 电力系统及其自动化学报， 2023 ， 35 （ 1 ）： 103 - 110 .

JIANG Huilan ， LI Xiyu ， XIAO Rui . Optimization method for over-frequency generator tripping considering frequency related characteristics of standby unit ［J］. Proceedings of the CSU-EPSA ， 2023 ， 35 （ 1 ）： 103 - 110 .

CAI Guowei ， ZHOU Shuyu ， LIU Cheng ， et al . Hierarchical under frequency load shedding scheme for inter-connected power systems ［J］. Protection and Control of Modern Power Systems ， 2023 ， 8 （ 1 ）： 34 .

孙检，廖凯，何正友，等 . 兼顾超低频振荡抑制与一次调频的水电集群参数优化方法［J］. 电力系统自动化， 2025 ， 49 （ 16 ）： 120 - 131 .

SUN Jian ， LIAO Kai ， HE Zhengyou ， et al . Parameter optimization method for hydropower clusters balancing ultra-low-frequency oscillation suppression and primary frequency regulation ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 16 ）： 120 - 131 .

XIE Jian ， SUN Wei . Distributional deep reinforcement learning-based emergency frequency control ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 4 ）： 2720 - 2730 .

CHEN Chunyu ， CUI Mingjian ， LI Fangxing ， et al . Model-free emergency frequency control based on rein-forcement learning ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 4 ）： 2336 - 2346 .

LI Jiawen ， CHENG Yuanyuan . Deep meta-reinforcement learning-based data-driven active fault tolerance load frequency control for islanded microgrids considering internet of things ［J］. IEEE Internet of Things Journal ， 2024 ， 11 （ 6 ）： 10295 - 10303 .

李佳旭，吴俊勇，李栌苏，等 . 电力系统频率安全评估与紧急控制研究综述［J］. 高电压技术， 2025 ， 51 （ 4 ）： 1817 - 1833 .

LI Jiaxu ， WU Junyong ， LI Lusu ， et al . Review on frequency safety assessment and emergency control of power system ［J］. High Voltage Engineering ， 2025 ， 51 （ 4 ）： 1817 - 1833 .

张有兵，林一航，黄冠弘，等 . 深度强化学习在微电网系统调控中的应用综述［J］. 电网技术， 2023 ， 47 （ 7 ）： 2774 - 2788 .

ZHANG Youbing ， LIN Yihang ， HUANG Guanhong ， et al . Review on applications of deep reinforcement learning in regulation of microgrid systems ［J］. Power System Technology ， 2023 ， 47 （ 7 ）： 2774 - 2788 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Jinlong ， JIANG Yun ， PAN Hongren ， et al . Path planning in complex environments using attention-based deep deterministic policy gradient ［J］. Electronics ， 2024 ， 13 （ 18 ）， 3746 .

赵鹏杰，吴俊勇，王燚，等 . 基于深度强化学习的微电网优化运行策略［J］. 电力自动化设备， 2022 ， 42 （ 11 ）： 9 - 16 .

ZHAO Pengjie ， WU Junyong ， WANG Yi ， et al . Optimal operation strategy of microgrid based on deep reinforcement learning ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 11 ）： 9 - 16 .

JING Xianyong ， CONG Fuzhong ， HUANG Jichuan ， et al . Autonomous maneuvering decision-making algorithm for unmanned aerial vehicles based on node clustering and deep deterministic policy gradient ［J］. Aerospace 2024 ， 11 （ 12 ）， 1055 .

王一迪，李立新，於益军，等 . 基于深度强化学习的电力系统安全校正控制［J］. 电力系统自动化， 2023 ， 47 （ 12 ）： 121 - 129 .

WANG Yidi ， LI Lixin ， YU Yijun ， et al . Power system security correction control based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 12 ）： 121 - 129 .

凌文辉，牟春晖，聂聆聪，等 . 基于改进DDPG的宽速域几何可调燃烧室压力分布控制［J］. 航空学报， 2025 ， 46 （ 12 ）： 102 - 117 .

LING Wenhui ， MU Chunhui ， NIE Lingcong ， et al . Improved DDPG-based multipoint pressure distribution control of scram jet variable geometry combustor with wide range velocity ［J］. Acta Aeronautica et Astronautica Sinica ， 2025 ， 46 （ 12 ）： 102 - 117 .

王凤英，陈莹，袁帅，等 . 自注意力机制结合DDPG的机器人路径规划研究［J］. 计算机工程与应用， 2024 ， 60 （ 19 ）： 158 - 166 .

WANG Fengying ， CHEN Ying ， YUAN Shuai ， et al . Robot path planning based on self-attention mechanism combined with DDPG ［J］. Computer Engineering and Applications ， 2024 ， 60 （ 19 ）： 158 - 166 .

李舟平，曾令康，姚伟，等 . 基于知识融合和深度强化学习的智能紧急切机决策［J］. 中国电机工程学报， 2024 ， 44 （ 5 ）： 1675 - 1688 .

LI Zhouping ， ZENG Lingkang ， YAO Wei ， et al . Intelligent emergency generator rejection schemes based on knowledge fusion and deep reinforcement learning ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 5 ）： 1675 - 1688 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

含风电的链状电力系统频率动态分布特性分析

大扰动下电力系统频率安全概率指标初探

电力人工智能的演变与展望——从专业智能走向通用智能

计及源荷惯量特征的电力系统最小惯量需求评估