Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning

XI Wei; LI Peng; LI Peng; CAI Tiantian; WEI Mingjiang; YU Hao

doi:10.7500/AEPS20220509001

您当前的位置：

首页 >

文章列表页 >

Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 46, Issue 22, Pages: 25-31(2022)
- 作者机构：
  
  1.智能电网教育部重点实验室(天津大学),天津市 300072
  2.南方电网数字电网研究院有限公司,广东省广州市 510670
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China(2020YFB0906000;2020YFB0906001)
- DOI：10.7500/AEPS20220509001
  CLC：
- Received：09 May 2022，
  
  Revised：2022-06-17，
  
  Published Online：22 September 2022，
  
  Published：25 November 2022
- 稿件说明：
移动端阅览
习伟,李鹏,李鹏等.基于深度强化学习的分布式电源就地自适应电压控制方法[J].电力系统自动化,2022,46(22):25-31.

XI Wei,LI Peng,LI Peng,et al.Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(22):25-31.
习伟,李鹏,李鹏等.基于深度强化学习的分布式电源就地自适应电压控制方法[J].电力系统自动化,2022,46(22):25-31. DOI： 10.7500/AEPS20220509001.

XI Wei,LI Peng,LI Peng,et al.Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(22):25-31. DOI： 10.7500/AEPS20220509001.

摘要

高比例分布式电源的广泛接入引起了配电网电压波动问题，分布式电源换流器能够提供连续的无功功率支撑，是实现快速电压调节的潜在解决方案。针对高比例分布式电源自适应电压控制问题，文中提出了基于多智能体深度强化学习的分布式电源就地电压控制框架。配电网各区域通过构建深度强化学习智能体以实时感知配电网状态，制定分布式电源运行策略，自适应地应对电压波动。然后，考虑分布式电源换流器功率耦合问题，基于动态边界动作掩模机制设计以保证智能体动作的有效性。最后，采用IEEE 33节点及中国南方电网53节点算例验证了所提方法的可行性与有效性。

Abstract

The large integration of high-penetration distributed generators (DGs) aggravates voltage fluctuations in distribution networks. DG converters are capable of providing continuous reactive power support and are a potential solution to achieve fast voltage regulation. Aiming at adaptive voltage control of high proportional DGs

this paper proposes a framework for local voltage control of DGs based on deep reinforcement learning of multiple agents. Each region of the distribution network is built with deep reinforcement learning agents to sense the state of the distribution network in real time

formulate DG operation strategies

and respond to voltage fluctuations adaptively. Then

considering the DG converter power coupling problem

a dynamic boundary action mask mechanism is designed to ensure the effectiveness of agent actions. Finally

the feasibility and effectiveness of the proposed method are verified by using IEEE 33-bus system and 53-bus system of China Southern Power Grid.

关键词

Keywords

references

吴文传，张伯明，孙宏斌，等 . 主动配电网能量管理与分布式资源集群控制［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 111 - 118 .

WU Wenchuan ， ZHANG Boming ， SUN Hongbin ， et al . Energy management and distributed energy resources cluster control for active distribution networks ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 111 - 118 .

黄伟，刘斯亮，羿应棋，等 . 基于光伏并网点电压优化的配电网多时间尺度趋优控制［J］. 电力系统自动化， 2019 ， 43 （ 3 ）： 92 - 100 .

HUANG Wei ， LIU Siliang ， YI Yingqi ， et al . Multi-time-scale slack optimal control in distribution network based on voltage optimization for point of common coupling of PV ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 3 ）： 92 - 100 .

GUO Y F ， WU Q W ， GAO H L ， et al . Double-time-scale coordinated voltage control in active distribution networks based on MPC ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 1 ）： 294 - 303 .

高鹏程，王蕾，李立生，等 . 基于光伏逆变器调节的配电网电压控制策略［J］. 电力自动化设备， 2019 ， 39 （ 4 ）： 190 - 196 .

GAO Pengcheng ， WANG Lei ， LI Lisheng ， et al . Voltage control strategy based on adjustment of PV inverters in distribution network ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 4 ）： 190 - 196 .

李建林，武亦文，王楠，等 . 吉瓦级电化学储能电站研究综述及展望［J］. 电力系统自动化， 2021 ， 45 （ 19 ）： 2 - 14 .

LI Jianlin ， WU Yiwen ， WANG Nan ， et al . Review and prospect of gigawatt-level electrochemical energy storage power station ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 19 ）： 2 - 14 .

李培帅，吴在军，张错，等 . 主动配电网分布式混合时间尺度无功/电压控制［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 160 - 168 .

LI Peishuai ， WU Zaijun ， ZHANG Cuo ， et al . Distributed hybrid-timescale voltage/var control in active distribution networks ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 160 - 168 .

MAHDAVI S ， PANAMTASH H ， DIMITROVSKI A ， et al . Predictive coordinated and cooperative voltage control for systems with high penetration of PV ［J］. IEEE Transactions on Industry Applications ， 2021 ， 57 （ 3 ）： 2212 - 2222 .

徐添锐，丁涛，李立，等 . 适应三相不平衡主动配电网无功优化的二阶锥松弛模型［J］. 电力系统自动化， 2021 ， 45 （ 24 ）： 81 - 88 .

XU Tianrui ， DING Tao ， LI Li ， et al . Second-order cone relaxation model adapting to reactive power optimization for three-phase unbalanced active distribution network ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 24 ）： 81 - 88 .

李晓明，刘翔宇，李安昌，等 . 配电网电压控制的分布式光伏无功仿射可调鲁棒优化方法［J］. 电力系统保护与控制， 2021 ， 49 （ 12 ）： 124 - 131 .

LI Xiaoming ， LIU Xiangyu ， LI Anchang ， et al . Distributed photovoltaic reactive power affine adjustable robust optimization method for voltage control of a distribution network ［J］. Power System Protection and Control ， 2021 ， 49 （ 12 ）： 124 - 131 .

姜涛，张东辉，李雪，等 . 含分布式光伏的主动配电网电压分布式优化控制［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 102 - 109 .

JIANG Tao ， ZHANG Donghui ， LI Xue ， et al . Distributed optimal control of voltage in active distribution network with distributed photovoltaic ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 102 - 109 .

符杨，郭笑岩，米阳，等 . 基于强化学习的直流微电网分布式经济下垂控制［J］. 电力自动化设备， 2021 ， 41 （ 11 ）： 1 - 7 .

FU Yang ， GUO Xiaoyan ， MI Yang ， et al . Distributed economic droop control for DC microgrid based on reinforcement learning ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 11 ）： 1 - 7 .

杨思明，单征，丁煜，等 . 深度强化学习研究综述［J］. 计算机工程， 2021 ， 47 （ 12 ）： 19 - 29 .

YANG Siming ， SHAN Zheng ， DING Yu ， et al . Survey of research on deep reinforcement learning ［J］. Computer Engineering ， 2021 ， 47 （ 12 ）： 19 - 29 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

DUAN J J ， SHI D ， DIAO R S ， et al . Deep-reinforcement-learning-based autonomous voltage control for power grid operations ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 1 ）： 814 - 817 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2022-05-09 ］. https：//arxiv.org/abs/1509.02971 https://arxiv.org/abs/1509.02971 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

梁煜东，陈峦，张国洲，等 . 基于深度强化学习的多能互补发电系统负荷频率控制策略［J］. 电工技术学报， 2022 ， 37 （ 7 ）： 1768 - 1779 .

LIANG Yudong ， CHEN Luan ， ZHANG Guozhou ， et al . Load frequency control strategy of hybrid power generation system： a deep reinforcement learning-based approach ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 7 ）： 1768 - 1779 .

SUN X Z ， QIU J . Two-stage volt/var control in active distribution networks with multi-agent deep reinforcement learning method ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2903 - 2912 .

孙浩洋，张冀川，王鹏，等 . 面向配电物联网的边缘计算技术［J］. 电网技术， 2019 ， 43 （ 12 ）： 4314 - 4321 .

SUN Haoyang ， ZHANG Jichuan ， WANG Peng ， et al . Edge computation technology based on distribution Internet of Things ［J］. Power System Technology ， 2019 ， 43 （ 12 ）： 4314 - 4321 .

刘东奇，曾祥君，王耀南 . 边缘计算架构下配电台区虚拟电站控制策略［J］. 电工技术学报， 2021 ， 36 （ 13 ）： 2852 - 2860 .

LIU Dongqi ， ZENG Xiangjun ， WANG Yaonan . Control strategy of virtual power station in distribution transformer area under edge computing architecture ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 13 ）： 2852 - 2860 .

尚立，蔡硕，崔俊彬，等 . 基于软件定义网络的电网边缘计算资源分配［J］. 电力系统保护与控制， 2021 ， 49 （ 20 ）： 136 - 143 .

SHANG Li ， CAI Shuo ， CUI Junbin ， et al . SDN-based MEC resource allocation of a power grid ［J］. Power System Protection and Control ， 2021 ， 49 （ 20 ）： 136 - 143 .

江翼，刘正阳，王文瑞，等 . 基于边云协同的变电设备多状态量监测系统研究［J］. 电力系统保护与控制， 2021 ， 49 （ 6 ）： 138 - 144 .

JIANG Yi ， LIU Zhengyang ， WANG Wenrui ， et al . Research on multi-state monitoring system of substation equipment based on edge-cloud collaboration ［J］. Power System Protection and Control ， 2021 ， 49 （ 6 ）： 138 - 144 .

LU R Z ， LI Y C ， LI Y T ， et al . Multi-agent deep reinforcement learning based demand response for discrete manufacturing systems energy management ［J］. Applied Energy ， 2020 ， 276 ： 115473 .

ZHANG Q Z ， DEHGHANPOUR K ， WANG Z Y ， et al . Multi-agent safe policy learning for power management of networked microgrids ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1048 - 1062 .

YAN Z M ， XU Y . A multi-agent deep reinforcement learning method for cooperative load frequency control of a multi-area power system ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 6 ）： 4599 - 4608 .

刘海鹏，尹忠东，赵士硕 . 磁控电抗器快速性研究［J］. 电力电子技术， 2013 ， 47 （ 1 ）： 15 - 17 .

LIU Haipeng ， YIN Zhongdong ， ZHAO Shishuo . Research on the quickness of magnetically controlled reactor ［J］. Power Electronics ， 2013 ， 47 （ 1 ）： 15 - 17 .

陈锴，杨帆，唐剑，等 . 高比例磁控电抗器区域无功电压精准调控系统及控制策略研究［J］. 高电压技术， 2022 ， 48 （ 5 ）： 1979 - 1986 .

CHEN Kai ， YANG Fan ， TANG Jian ， et al . Regional AVC coordinated precise control based on high proportion MCR ［J］. High Voltage Engineering ， 2022 ， 48 （ 5 ）： 1979 - 1986 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

基于两阶段规划法的有源配电网综合电压优化控制

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Related Author

Wei XI

Peng LI

Tiantian CAI

Mingjiang WEI

Hao YU

TAO Shun

CHENG Lilin

Related Institution

Key Laboratory of Smart Grid of Ministry of Education, Tianjin University

School of Electrical and Electronic Engineering, North China Electric Power University

School of Electrical and Power Engineering, Hohai University

Electric Power Research Institute of State Grid Jiangsu Electric Power Co., Ltd.

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

⁰