Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network

HUANG Sheng; PAN Lijun; QU Yinpeng; ZHOU Qilin; XU Jian; KE Deping

doi:10.7500/AEPS20240318012

您当前的位置：

首页 >

文章列表页 >

Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network

Basic Research | 更新时间：2025-06-16

- Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network
- Automation of Electric Power Systems Vol. 49, Issue 2, Pages: 122-132(2025)
- 作者机构：
  
  1.湖南大学电气与信息工程学院，湖南省长沙市 410082
  2.广东电网有限责任公司广州供电局，广东省广州市 510620
  3.武汉大学电气与自动化学院，湖北省武汉市 430072
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China(2022YFE0118500);National Natural Science Foundation of China(52207095);Hunan Provincial Natural Science Foundation of China(2022JJ40075)
- DOI：10.7500/AEPS20240318012
  CLC：
- Received：18 March 2024，
  
  Revised：2024-09-25，
  
  Published Online：21 October 2024，
  
  Published：25 January 2025
- 稿件说明：
移动端阅览
黄晟,潘丽君,屈尹鹏等.基于改进深度Q网络的无预测风电场日前拓扑优化[J].电力系统自动化,2025,49(2):122-132.

HUANG Sheng,PAN Lijun,QU Yinpeng,et al.Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network[J].Automation of Electric Power Systems,2025,49(2):122-132.
黄晟,潘丽君,屈尹鹏等.基于改进深度Q网络的无预测风电场日前拓扑优化[J].电力系统自动化,2025,49(2):122-132. DOI： 10.7500/AEPS20240318012.

HUANG Sheng,PAN Lijun,QU Yinpeng,et al.Day-ahead Topology Optimization for Wind Farm Without Forecasting Based on Improved Deep Q Network[J].Automation of Electric Power Systems,2025,49(2):122-132. DOI： 10.7500/AEPS20240318012.

摘要

风电场受风速变化等因素影响，出力易产生大幅波动，从而造成电压波动和网损增加等问题，影响风电场的安全高效运行。目前的风电场日前调控方案多基于传统的数学优化模型展开，且需要风机的日前出力预测数据，故无法完全避免的日前预测误差的引入造成日前优化调控方案有效性的降低，增加了日内风机调控的难度。因此，文中充分发挥强化学习模型的决策能力，提出了一种基于改进深度Q网络（DQN）的无预测风电场拓扑重构决策方案，并以DQN为框架展开。首先，构建基于历史数据的状态空间；然后，提出基于生成树的动作价值对解耦的动作空间优化方法，以最小化电压偏差和网损为目标建立优化评价体系，完成由历史实际出力数据到决策的映射关系构建，在避免引入预测误差的情况下实现风电场日前优化调控；最后，设计一种基于多层次经验指导的经验回放策略，提升算法的训练性能，保证算法的适用性。根据实际的风电运行数据进行仿真，通过对比分析改进技术对DQN算法的影响和优化调控前后风电场的运行状态，验证了所提方法的创新性和有效性。

Abstract

Wind farms are affected by factors such as wind speed changes

and the output is prone to large fluctuations

resulting in problems such as voltage fluctuations and increased network losses

which affect the safe and efficient operation of wind farms. The current scheduling and control schemes of wind farms are mostly based on the traditional mathematical optimization model

and the day-ahead output forecasting data of the wind turbine are required. Hence

the introduction of the unavoidable day-ahead forecasting error leads to the reduction of the effectiveness of the day-ahead optimization control scheme

which increases the difficulty of intraday wind turbine control. Therefore

this paper gives full play to the decision-making ability of reinforcement learning model and proposes a decision-making scheme for topology reconfiguration of wind farm without forecasting based on improved deep Q network (DQN)

which is developed using DQN as the framework. First

the state space based on historical data is constructed

and then the action space optimization method based on the decoupling of action value pairs of spanning tree is proposed. The optimization evaluation system is established with the goal of minimizing voltage deviation and network loss

and the mapping relationship from historical actual output data to decision-making is completed. The day-ahead optimal control of wind farms is realized without introducing forecasting error. Finally

an experience playback strategy based on multi-level experience guidance is designed to improve the training performance of the algorithm and ensure the applicability of the algorithm. According to the actual wind power operation data

the simulation is carried out. The innovation and effectiveness of the proposed method are verified by comparing and analyzing the influence of the improved technology on the DQN algorithm and the operation state of the wind farm before and after the optimal control.

关键词

Keywords

references

国家统计局 . 中华人民共和国2023年国民经济和社会发展统计公报［R］. 北京：国家统计局， 2024 .

National Bureau of Statistics . Statistical bulletin of the People’s Republic of China on national economic and social development in 2023 ［R］. Beijing ： National Bureau of Statistics ， 2024 .

戴慧珠，王伟胜，迟永宁 . 风电场接入电力系统研究的新进展［J］. 电网技术， 2007 ， 31 （ 20 ）： 16 - 23 .

DAI Huizhu ， WANG Weisheng ， CHI Yongning . Recent wind power integration study in China ［J］. Power System Technology ， 2007 ， 31 （ 20 ）： 16 - 23 .

薛霖，牛涛，方斯顿，等 . 计及高比例风电暂态电压安全的主从协同动态无功优化方法［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 57 - 66 .

XUE Lin ， NIU Tao ， FANG Sidun ， et al . Master-slave cooperative dynamic reactive power optimization method considering transient voltage security of high proportion of wind power ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 57 - 66 .

孔贺，侯山，赵弋菡，等 . 低电压穿越控制诱导的陆上风电场电压振荡的分岔分析及其判据研究［J/OL］. 中国电机工程学报： 1 - 20 ［ 2024-06-28 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.230763 https://doi.org/10.13334/j.0258-8013.pcsee.230763 .

KONG He ， HOU Shan ， ZHAO Yihan ， et al . Bifurcation analysis and criteria of voltage oscillation induced by low voltage ride through control in onshore wind farms ［J/OL］. Proceedings of the CSEE ： 1 - 20 ［ 2024-06-28 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.230763 https://doi.org/10.13334/j.0258-8013.pcsee.230763 .

张婧 . 多时间尺度风电场群无功优化控制策略［D］. 北京：华北电力大学， 2020 .

ZHANG Jing . Multi-time scale reactive power and voltage control strategy for wind farms cluster ［D］. Beijing ： North China Electric Power University ， 2020 .

KAZEMI-RAZI S M ， MIRSALIM M ， ASKARIAN-ABYANEH H ， et al . Maximization of wind energy utilization and flicker propagation mitigation using SC and STATCOM ［C］// 2018 Smart Grid Conference （SGC）， November 28-29 ， 2018 ， Sanandaj， Iran ： 1 - 6 .

XU F D ， GUO Q L ， SUN H B ， et al . A two-level hierarchical discrete-device control method for power networks with integrated wind farms ［J］. Journal of Modern Power Systems and Clean Energy ， 2019 ， 7 （ 1 ）： 88 - 98 .

LIU R F ， ZHOU X ， XIE X P . Day-ahead two-stage optimal scheduling strategy of distribution network based on WSO ［C］// 2023 China Automation Congress （CAC）， November 17-19 ， 2023 ， Chongqing， China ： 6541 - 6546 .

GUO Y F ， GAO H L ， WU Q W ， et al . Distributed coordinated active and reactive power control of wind farms based on model predictive control ［J］. International Journal of Electrical Power & Energy Systems ， 2019 ， 104 ： 78 - 88 .

LI L ， YANG C ， XU H ， et al . Coordinated voltage control for offshore wind farm equipped with SVG and energy storage ［C］// 2022 12th International Conference on Power and Energy Systems （ICPES）， December 23-25 ， 2022 ， Guangzhou， China ： 800 - 804 .

XU L F ， CHEN T H ， YANG L ， et al . Reactive power and voltage coordinated control of wind farm for parallel running STATCOM ［C］// 2019 IEEE Innovative Smart Grid Technologies-Asia （ISGT Asia）， May 21-24 ， 2019 ， Chengdu， China ： 1414 - 1418 .

马明，杜婉琳，陶然，等 . 基于鲁棒优化的风电场分层电压优化控制策略［J］. 天津大学学报（自然科学与工程技术版）， 2021 ， 54 （ 12 ）： 1309 - 1316 .

MA Ming ， DU Wanlin ， TAO Ran ， et al . Hierarchical voltage optimal control strategy of wind farms based on robust optimization ［J］. Journal of Tianjin University （Science and Technology）， 2021 ， 54 （ 12 ）： 1309 - 1316 .

ZHANG J ， LIU Y H ， ZHANG D Y ， et al . Multi-time-scale coordinative and complementary reactive power and voltage control strategy for wind farms cluster ［C］// 2018 International Conference on Power System Technology （POWERCON）， November 6-8 ， 2018 ， Guangzhou， China ： 1927 - 1934 .

WANG M S ， TONG W ， MU Y F ， et al . A volt-var optimal control for power system integrated with wind farms considering the available reactive power from EV chargers ［C］// 2016 IEEE Power and Energy Society General Meeting （PESGM）， July 17-21 ， 2016 ， Boston， USA ： 1 - 5 .

毕聪博，唐聿劼，罗永红，等 . 电力系统优化控制中强化学习方法应用及挑战［J］. 中国电机工程学报， 2024 ， 44 （ 1 ）： 1 - 22 .

BI Congbo ， TANG Yujie ， LUO Yonghong ， et al . Review on critical problems in reinforcement learning methods applied in power system optimization and control scenarios ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 1 ）： 1 - 22 .

ZHANG D X ， HAN X Q ， DENG C Y . Review on the research and practice of deep learning and reinforcement learning in smart grids ［J］. CSEE Journal of Power and Energy Systems ， 2018 ， 4 （ 3 ）： 362 - 370 .

熊珞琳，毛帅，唐漾，等 . 基于强化学习的综合能源系统管理综述［J］. 自动化学报， 2021 ， 47 （ 10 ）： 2321 - 2340 .

XIONG Luolin ， MAO Shuai ， TANG Yang ， et al . Reinforcement learning based integrated energy system management： a survey ［J］. Acta Automatica Sinica ， 2021 ， 47 （ 10 ）： 2321 - 2340 .

CHEN X ， QU G N ， TANG Y J ， et al . Reinforcement learning for selective key applications in power systems： recent advances and future challenges ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 4 ）： 2935 - 2958 .

YIN L F ， ZHANG C W ， WANG Y X ， et al . Emotional deep learning programming controller for automatic voltage control of power systems ［J］. IEEE Access ， 1880 ， 9 ： 31880 - 31891 .

HOSSAIN R R ， HUANG Q H ， HUANG R K . Graph convolutional network-based topology embedded deep reinforcement learning for voltage stability control ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4848 - 4851 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

YANG J ， O’REILLY J ， FLETCHER J E . Redundancy analysis of offshore wind farm collection and transmission systems ［C］// 2009 International Conference on Sustainable Power Generation and Supply ， April 6-7 ， 2009 ， Nanjing， China ： 1 - 7 .

ZHOU X Y ， FARIVAR M ， CHEN L J . Pseudo-gradient based local voltage control in distribution networks ［C］// 2015 53rd Annual Allerton Conference on Communication， Control， and Computing （Allerton）， September 29-October 2 ， 2015 ， Monticello， USA ： 173 - 180 .

PENG H Z ， HUANG S ， WANG P D ， et al . An online feedback-based local method for topology identification and var/volt control in radial wind farms ［J］. IEEE Transactions on Industrial Informatics ， 2024 ， 20 （ 3 ）： 4292 - 4304 .

WU H T ， YU J ， LIU J ， et al . Voltage control of offshore wind farm considering reactive ability of electrochemical energy storage ［C］// 2022 IEEE Sustainable Power and Energy Conference （iSPEC）， December 4-7 ， 2022 ， Perth， Australia ： 1 - 5 .

NI F ， QIN X ， HUANG Z ， et al . Optimal control strategy of reactive power and voltage for wind farm based on LinWPSO algorithm ［C］// Asia Conference on Energy and Electrical Engineering ， July 21-23 ， 2023 ， Chengdu， China ： 399 - 403 .

ZHAO M ， CHEN Z ， BLAABJERG F . Optimisation of electrical system for offshore wind farms via genetic algorithm ［J］. IET Renewable Power Generation ， 2009 ， 3 （ 2 ）： 205 .

GENG H ， LIU L ， LI R Q . Synchronization and reactive current support of PMSG-based wind farm during severe grid fault ［J］. IEEE Transactions on Sustainable Energy ， 2018 ， 9 （ 4 ）： 1596 - 1604 .

ZHAO H R ， WU Q W ， WANG J H ， et al . Combined active and reactive power control of wind farms based on model predictive control ［J］. IEEE Transactions on Energy Conversion ， 2017 ， 32 （ 3 ）： 1177 - 1187 .

ZHAO J ， LI F X ， MUKHERJEE S ， et al . Deep reinforcement learning-based model-free on-line dynamic multi-microgrid formation to enhance resilience ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 4 ）： 2557 - 2567 .

卿竹雨，安锐，高红均，等 . 考虑分散式资源互动响应的虚拟电厂智能化调峰定价［J］. 电力自动化设备， 2023 ， 43 （ 5 ）： 96 - 103 .

QING Zhuyu ， AN Rui ， GAO Hongjun ， et al . Intelligent peak regulation pricing for virtual power plant considering interactive response of distributed resources ［J］. Electric Power Automation Equipment ， 2023 ， 43 （ 5 ）： 96 - 103 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Playing Atari with deep reinforcement learning ［EB/OL］. ［ 2024-08-25 ］. https：//arxiv.org/abs/1312.5602 https://arxiv.org/abs/1312.5602 .

LEI S B ， CHEN C ， SONG Y ， et al . Radiality constraints for resilient reconfiguration of distribution systems： formulation and application to microgrid formation ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 5 ）： 3944 - 3956 .

ROCCHETTA R ， BELLANI L ， COMPARE M ， et al . A reinforcement learning framework for optimal operation and maintenance of power grids ［J］. Applied Energy ， 2019 ， 241 ： 291 - 301 .

OH S H ， YOON Y T ， KIM S W . Online reconfiguration scheme of self-sufficient distribution network based on a reinforcement learning approach ［J］. Applied Energy ， 2020 ， 280 ： 115900 .

国家质量监督检验检疫总局，中国国家标准化管理委员会 . 电能质量供电电压偏差： GB/T12325—2008 ［S］. 北京：中国标准出版社， 2009 .

General Administration of Quality Supervision ， Inspection and Quarantine of the People’s Republic of China ， Standardization Administration of the People’s Republic of China . Power quality-deviation of supply voltage ： GB/T 12325—2008 ［S］. Beijing ： Standards Press of China ， 2009 .

HUANG S ， WU Q W ， GUO Y F ， et al . Bi-level decentralized active and reactive power control for large-scale wind farm cluster ［J］. International Journal of Electrical Power & Energy Systems ， 2019 ， 111 ： 201 - 215 .

娄素华，杨天蒙，吴耀武，等 . 含高渗透率风电的电力系统复合储能协调优化运行［J］. 电力系统自动化， 2016 ， 40 （ 7 ）： 30 - 35 .

LOU Suhua ， YANG Tianmeng ， WU Yaowu ， et al . Coordinated optimal operation of hybrid energy storage in power system accommodated high penetration of wind power ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 7 ）： 30 - 35 .

陈永进 . 基于复杂网络拓扑判别的主动配电网重构优化［J］. 电气应用， 2019 ， 38 （ 12 ）： 31 - 38 .

CHEN Yongjin . Active distribution network reconfiguration optimization based on complex network topology identification ［J］. Electrotechnical Application ， 2019 ， 38 （ 12 ）： 31 - 38 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Charging Path Planning for Electric Vehicles Based on Reinforcement Learning Environment Design Strategy

接入LCC-HVDC的双馈风电场孤岛启动与并网控制策略

Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning

Related Author

SONG Yuhang

CHEN Yufan

WEI Yanling

GAO Shan

HE Xiuqiang

JIANG Tao

QIE Zhaohui

LI Wei

Related Institution

School of Automation, Southeast University

Key Laboratory of Measurement and Control of Complex System of Engineering,Southeast University

School of Electrical Engineering, Southeast University

Department of Automation, Tsinghua University

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

⁰