Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator

LIU Xiaoming; LIU Jun; YAO Hongwei; ZHAO Yu; NIE Yongxin; REN Kezheng

doi:10.7500/AEPS20240723009

您当前的位置：

首页 >

文章列表页 >

Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator

Basic Research | 更新时间：2025-06-16

- Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator
- Automation of Electric Power Systems Vol. 49, Issue 9, Pages: 114-124(2025)
- 作者机构：
  
  陕西省智能电网重点实验室（西安交通大学），陕西省西安市 710049
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52177111)
- DOI：10.7500/AEPS20240723009
  CLC：
- Received：23 July 2024，
  
  Revised：2025-01-08，
  
  Published Online：14 February 2025，
  
  Published：10 May 2025
- 稿件说明：
移动端阅览
刘晓明,刘俊,姚宏伟等.基于VSG的风光水火储系统频率调节深度强化学习方法[J].电力系统自动化,2025,49(9):114-124.

LIU Xiaoming,LIU Jun,YAO Hongwei,et al.Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator[J].Automation of Electric Power Systems,2025,49(9):114-124.
刘晓明,刘俊,姚宏伟等.基于VSG的风光水火储系统频率调节深度强化学习方法[J].电力系统自动化,2025,49(9):114-124. DOI： 10.7500/AEPS20240723009.

LIU Xiaoming,LIU Jun,YAO Hongwei,et al.Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator[J].Automation of Electric Power Systems,2025,49(9):114-124. DOI： 10.7500/AEPS20240723009.

摘要

由于可再生能源发电固有的不确定性和低惯量特性，随着分布式能源（DER）的快速发展，电力系统正面临显著的系统频率动态恶化。为解决这一问题，使DER能够模拟传统同步发电机运行的虚拟同步发电机（VSG）技术已被开发并得到广泛关注。然而，现有研究主要集中于采用固定参数运行VSG以提供惯量支撑，而很少关注动态调整VSG以利用其快速响应特性来提升电力系统的频率响应性能。因此，文中提出一种基于深度强化学习的频率调节（DRL-FR）方法，该方法可自适应调整一、二次调频及VSG的动态参数。首先，构建频率调节模型，并将新能源电厂建模为可调VSG，将最优频率调节问题建模为马尔可夫决策过程。然后，构建DRL-FR控制器，其动作空间为一、二次调频动态参数，涵盖下垂控制、比例-积分-微分控制、机组参与系数及VSG可调参数。最后，开发了一种结合单调优势重加权模仿学习的近端策略优化算法，可结合历史运行数据及专家经验加速模型训练过程。在改造的IEEE 39节点系统中进行测试，验证了所提DRL-FR方法的有效性。

Abstract

Due to the inherent uncertainty and low-inertia characteristics of renewable energy generation

power systems are facing significant deterioration in system frequency dynamics with the rapid development of distributed energy resources (DERs). To address this issue

virtual synchronous generator (VSG) technology

which enables DERs to emulate the operation of traditional synchronous generators

has been developed and gained widespread attention. However

existing research primarily focuses on operating VSGs with fixed parameters to provide inertia support

while paying limited attention to dynamically adjusting VSGs to leverage their fast response characteristics for enhancing power system frequency response performance. Therefore

this paper proposes a deep reinforcement learning-based frequency regulation (DRL-FR) method that adaptively adjusts primary/secondary frequency regulation and VSG dynamic parameters. First

a frequency regulation model is established

the renewable power plants are modeled as adjustable VSGs

and the optimal frequency regulation problem is formulated as a Markov decision process. Then

a DRL-FR controller is constructed with its action space encompassing dynamic parameters of primary/secondary frequency regulation

including droop control

proportional-integral-derivative control

unit participation factors

and adjustable VSG parameters. Finally

a proximal policy optimization algorithm incorporating monotonic advantage reweighted imitation learning is developed

which can accelerate the model training process by combining historical operation data and expert experience. The effectiveness of the proposed DRL-FR method is validated by the tests conducted on a modified IEEE 39-bus system.

关键词

Keywords

references

滕贤亮，谈超，昌力，等 . 高比例新能源电力系统有功功率与频率控制研究综述及展望［J］. 电力系统自动化， 2023 ， 47 （ 15 ）： 12 - 35 .

TENG Xianliang ， TAN Chao ， CHANG Li ， et al . Review and prospect of research on active power and frequency control in power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 15 ）： 12 - 35 .

罗魁，郭剑波，王伟胜，等 . 跟网型新能源附加频率控制对频率稳定及小扰动同步稳定影响分析综述［J］. 中国电机工程学报， 2023 ， 43 （ 4 ）： 1261 - 1280 .

LUO Kui ， GUO Jianbo ， WANG Weisheng ， et al . Review of impact of grid following variable renewable energy supplementary frequency control on frequency stability and small-disturbance synchronization stability ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 4 ）： 1261 - 1280 .

付媛，张保泽，张祥宇，等 . 虚拟同步耦合下储能的频率支撑与功率振荡多目标协调控制［J］. 电力自动化设备， 2024 ， 44 （ 9 ）： 1 - 9 .

FU Yuan ， ZHANG Baoze ， ZHANG Xiangyu ， et al . Multi-objective coordinated control of frequency support and power oscillation for energy storage under virtual synchronous coupling ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 9 ）： 1 - 9 .

秦晓辉，苏丽宁，迟永宁，等 . 大电网中虚拟同步发电机惯量支撑与一次调频功能定位辨析［J］. 电力系统自动化， 2018 ， 42 （ 9 ）： 36 - 43 .

QIN Xiaohui ， SU Lining ， CHI Yongning ， et al . Functional orientation discrimination of inertia support and primary frequency regulation of virtual synchronous generator in large power grid ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 9 ）： 36 - 43 .

张冠锋，杨俊友，王海鑫，等 . 基于虚拟同步机技术的风储系统协调调频控制策略［J］. 电工技术学报， 2022 ， 37 （增刊1 ）： 83 - 92 .

ZHANG Guanfeng ， YANG Junyou ， WANG Haixin ， et al . Coordinated frequency modulation control strategy of wind storage system based on virtual synchronous machine technology ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ S1 ）： 83 - 92 .

MALLESHAM G ， MISHRA S ， JHA A N . Ziegler-Nichols based controller parameters tuning for load frequency control in a microgrid ［C］// 2011 International Conference on Energy， Automation and Signal ， December 28-30 ， 2011 ， Bhubaneswar， India .

LI Y Y ， QI G Q ， SHENG A D . Frequency parameterization of H ∞ PID controllers via relay feedback： a graphical approach ［J］. Journal of Process Control ， 2011 ， 21 （ 4 ）： 448 - 461 .

TORABI-FARSANI K ， ASEMANI M H ， BADFAR F ， et al . Robust mixed μ -synthesis frequency regulation in AC mobile power grids ［J］. IEEE Transactions on Transportation Electrification ， 2019 ， 5 （ 4 ）： 1182 - 1189 .

SUMAN G K ， GUERRERO J M ， ROY O P . Robust frequency control in interconnected microgrids： an H 2 / H ∞ control approach ［J］. IEEE Systems Journal ， 2022 ， 16 （ 2 ）： 2044 - 2055 .

赵熙临，龚楚峰，付波 . 一种风电场经VSC-HVDC并网的VSG变参数负荷频率控制策略［J］. 高电压技术， 2024 ， 50 （ 1 ）： 117 - 126 .

ZHAO Xilin ， GONG Chufeng ， FU Bo . A VSG variable parameter load frequency control strategy for wind farms connected to the grid by VSC-HVDC ［J］. High Voltage Engineering ， 2024 ， 50 （ 1 ）： 117 - 126 .

CHEN G G ， LI Z J ， ZHANG Z Z ， et al . An improved ACO algorithm optimized fuzzy PID controller for load frequency control in multi area interconnected power systems ［J］. IEEE Access ， 2020 ， 8 ： 6429 - 6447 .

RAMACHANDRAN R ， MADASAMY B ， VEERASAMY V ， et al . Load frequency control of a dynamic interconnected power system using generalised Hopfield neural network based self-adaptive PID controller ［J］. IET Generation ， Transmission & Distribution， 2018 ， 12 （ 21 ）： 5713 - 5722 .

DING J ， WU M ， XIAO M . Nonlinear decoupling control with PI λ d μ neural network for MIMO systems ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2024 ， 35 （ 6 ）： 8715 - 8722 .

KANG J ， MENG W J ， ABRAHAM A ， et al . An adaptive PID neural network for complex nonlinear system control ［J］. Neurocomputing ， 2014 ， 135 ： 79 - 85 .

仪忠凯，梁寿愚，王伟，等 . 电力系统调度决策：一种示教学习辅助加速的安全强化学习方法［J］. 中国电机工程学报， 2024 ， 44 （ 13 ）： 5084 - 5097 .

YI Zhongkai ， LIANG Shouyu ， WANG Wei ， et al . Power system dispatch： an accelerated safe reinforcement learning approach by incorporating learning from demonstration ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 13 ）： 5084 - 5097 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

YANG F ， HUANG D H ， LI D D ， et al . Data-driven load frequency control based on multi-agent reinforcement learning with attention mechanism ［J］. IEEE Transactions on Power Systems ， 38 （ 6 ）： 5560 - 5569 .

LI J W ， CHENG Y Y . Deep meta-reinforcement learning-based data-driven active fault tolerance load frequency control for islanded microgrids considering Internet of Things ［J］. IEEE Internet of Things Journal ， 2024 ， 11 （ 6 ）： 10295 - 10303 .

刘中建，周明，李昭辉，等 . 高比例新能源电力系统的惯量控制技术与惯量需求评估综述［J］. 电力自动化设备， 2021 ， 41 （ 12 ）： 1 - 11 .

LIU Zhongjian ， ZHOU Ming ， LI Zhaohui ， et al . Review of inertia control technology and requirement evaluation in renewable-dominant power system ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 12 ）： 1 - 11 .

郝玲，陈磊，黄怡涵，等 . 新型电力系统下燃煤火电机组一次调频面临的挑战与展望［J］. 电力系统自动化， 2024 ， 48 （ 8 ）： 14 - 29 .

HAO Ling ， CHEN Lei ， HUANG Yihan ， et al . Challenges and prospects of primary frequency regulation of coal-fired thermal power units for new power system ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 8 ）： 14 - 29 .

邹屹东，钱晶，张文英，等 . 基于CPSOGSA算法的风-光-小水电微电网负荷频率最优 H 2 / H ∞ 鲁棒控制［J］. 电力系统保护与控制， 2022 ， 50 （ 11 ）： 42 - 51 .

ZOU Yidong ， QIAN Jing ， ZHANG Wenying ， et al . Optimal H 2 / H ∞ robust control for the load frequency of a microgrid including wind power-photovoltaic-small hydropower based on CPSOGSA ［J］. Power System Protection and Control ， 2022 ， 50 （ 11 ）： 42 - 51 .

RERKPREEDAPONG D ， HASANOVIC A ， FELIACHI A . Robust load frequency control using genetic algorithms and linear matrix inequalities ［J］. IEEE Transactions on Power Systems ， 2003 ， 18 （ 2 ）： 855 - 861 .

ZHAO Y ， LIU J ， LIU X M ， et al . LDM： a generic data-driven large distribution network operation model ［J］. IEEE Transactions on Smart Grid ， 2024 ， 15 （ 4 ）： 4284 - 4287 .

国家质量监督检验检疫总局，中国国家标准化管理委员会 . 电能质量电力系统频率偏差： GB/T 15945—2008 ［S］. 北京：中国标准出版社， 2008 .

General Administration of Quality Supervision ， Inspection and Quarantine of the People’s Republic of China ， Standardization Administration of the People’s Republic of China . Power quality—frequency deviation for power system ： GB/T 15945—2008 ［S］. Beijing ： Standards Press of China ， 2008 .

国家市场监督管理总局，国家标准化管理委员会 . 并网电源一次调频技术规定及试验导则： GB/T 40595—2021 ［S］. 北京：中国标准出版社， 2021 .

State Administration for Market Regulation ， Standardization Administration of the People’s Republic of China . Guide for technology and test on primary frequency control of grid-connected power resource ： GB/T 40595—2021 ［S］. Beijing ： Standards Press of China ， 2021 .

CHEN X ， ZHOU Z ， WANG Z ， et al . BAIL： best-action imitation learning for batch deep reinforcement learning ［C］// Advances in Neural Information Processing Systems ， December 6-12 ， 2020 ， Vancouver， Canada .

GU Y ， CHENG Y H ， PHILIP CHEN C L ， et al . Proximal policy optimization with policy feedback ［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems ， 2022 ， 52 （ 7 ）： 4600 - 4610 .

ATHAY T ， PODMORE R ， VIRMANI S . A practical method for the direct analysis of transient stability ［J］. IEEE Transactions on Power Apparatus Systems ， 1979 ， 98 （ 2 ）： 573 - 584 .

王霞，应黎明，卢少平 . 考虑动态频率约束的一次调频和二次调频联合优化模型［J］. 电网技术， 2020 ， 44 （ 8 ）： 2858 - 2867 .

WANG Xia ， YING Liming ， LU Shaoping . Joint optimization model for primary and secondary frequency regulation considering dynamic frequency constraint ［J］. Power System Technology ， 2020 ， 44 （ 8 ）： 2858 - 2867 .

SUN K ， XIAO H ， LIU Y . Optimized allocation method of the VSC-MTDC system for frequency regulation reserves considering the cost ［J］. CSEE Journal of Power and Energy Systems ， 2022 ， 8 （ 1 ）： 53 - 63 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience

Power System Security Correction Control Based on Deep Reinforcement Learning

Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm

Related Author

LIU Xiaoming

LIU Jun

YAO Hongwei

ZHAO Yu

NIE Yongxin

REN Kezheng

YANG Xiaodong

YAN Jianfeng

Related Institution

Shaanxi Key Laboratory of Smart Grid (Xi'an Jiaotong University)

China Electric Power Research Institute

State Grid Jibei Electric Power Co., Ltd.

State Grid Liaoning Electric Power Co., Ltd.

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education(Shanghai Jiao Tong University)

⁰