基于深度强化学习的分布式电源就地自适应电压控制方法

习伟; 李鹏; 李鹏; 蔡田田; 魏明江; 于浩

doi:10.7500/AEPS20220509001

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的分布式电源就地自适应电压控制方法

学术研究 | 更新时间：2025-06-16

- 基于深度强化学习的分布式电源就地自适应电压控制方法
- Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning
- 电力系统自动化 2022年46卷第22期页码：25-31
- 作者机构：
  
  1.智能电网教育部重点实验室(天津大学),天津市 300072
  2.南方电网数字电网研究院有限公司,广东省广州市 510670
- 作者简介：
  
  习伟(1980—)，男，硕士，教授级高级工程师，主要研究方向：电网数字化及芯片化。E-mail：xiwei@csg.cn
  李鹏(1973—)，男，博士，教授级高级工程师，主要研究方向：电网数字化、智能化。E-mail：lipeng@csg.cn
  李鹏(1981—)，男，通信作者，博士，教授，主要研究方向：分布式发电与智能配电网的运行、仿真与分析。E-mail：lip@tju.edu.cn
- 基金信息：
  
  国家重点研发计划资助项目(2020YFB0906000;2020YFB0906001)
- DOI：10.7500/AEPS20220509001
  中图分类号：
- 收稿：2022-05-09，
  
  修回：2022-06-17，
  
  网络出版：2022-09-22，
  
  纸质出版：2022-11-25
- 稿件说明：
移动端阅览
习伟,李鹏,李鹏等.基于深度强化学习的分布式电源就地自适应电压控制方法[J].电力系统自动化,2022,46(22):25-31.

XI Wei,LI Peng,LI Peng,et al.Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(22):25-31.
习伟,李鹏,李鹏等.基于深度强化学习的分布式电源就地自适应电压控制方法[J].电力系统自动化,2022,46(22):25-31. DOI： 10.7500/AEPS20220509001.

XI Wei,LI Peng,LI Peng,et al.Adaptive Local Voltage Control Method for Distributed Generator Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(22):25-31. DOI： 10.7500/AEPS20220509001.

摘要

高比例分布式电源的广泛接入引起了配电网电压波动问题，分布式电源换流器能够提供连续的无功功率支撑，是实现快速电压调节的潜在解决方案。针对高比例分布式电源自适应电压控制问题，文中提出了基于多智能体深度强化学习的分布式电源就地电压控制框架。配电网各区域通过构建深度强化学习智能体以实时感知配电网状态，制定分布式电源运行策略，自适应地应对电压波动。然后，考虑分布式电源换流器功率耦合问题，基于动态边界动作掩模机制设计以保证智能体动作的有效性。最后，采用IEEE 33节点及中国南方电网53节点算例验证了所提方法的可行性与有效性。

Abstract

The large integration of high-penetration distributed generators (DGs) aggravates voltage fluctuations in distribution networks. DG converters are capable of providing continuous reactive power support and are a potential solution to achieve fast voltage regulation. Aiming at adaptive voltage control of high proportional DGs

this paper proposes a framework for local voltage control of DGs based on deep reinforcement learning of multiple agents. Each region of the distribution network is built with deep reinforcement learning agents to sense the state of the distribution network in real time

formulate DG operation strategies

and respond to voltage fluctuations adaptively. Then

considering the DG converter power coupling problem

a dynamic boundary action mask mechanism is designed to ensure the effectiveness of agent actions. Finally

the feasibility and effectiveness of the proposed method are verified by using IEEE 33-bus system and 53-bus system of China Southern Power Grid.

关键词

Keywords

references

吴文传，张伯明，孙宏斌，等 . 主动配电网能量管理与分布式资源集群控制［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 111 - 118 .

WU Wenchuan ， ZHANG Boming ， SUN Hongbin ， et al . Energy management and distributed energy resources cluster control for active distribution networks ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 111 - 118 .

黄伟，刘斯亮，羿应棋，等 . 基于光伏并网点电压优化的配电网多时间尺度趋优控制［J］. 电力系统自动化， 2019 ， 43 （ 3 ）： 92 - 100 .

HUANG Wei ， LIU Siliang ， YI Yingqi ， et al . Multi-time-scale slack optimal control in distribution network based on voltage optimization for point of common coupling of PV ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 3 ）： 92 - 100 .

GUO Y F ， WU Q W ， GAO H L ， et al . Double-time-scale coordinated voltage control in active distribution networks based on MPC ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 1 ）： 294 - 303 .

高鹏程，王蕾，李立生，等 . 基于光伏逆变器调节的配电网电压控制策略［J］. 电力自动化设备， 2019 ， 39 （ 4 ）： 190 - 196 .

GAO Pengcheng ， WANG Lei ， LI Lisheng ， et al . Voltage control strategy based on adjustment of PV inverters in distribution network ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 4 ）： 190 - 196 .

李建林，武亦文，王楠，等 . 吉瓦级电化学储能电站研究综述及展望［J］. 电力系统自动化， 2021 ， 45 （ 19 ）： 2 - 14 .

LI Jianlin ， WU Yiwen ， WANG Nan ， et al . Review and prospect of gigawatt-level electrochemical energy storage power station ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 19 ）： 2 - 14 .

李培帅，吴在军，张错，等 . 主动配电网分布式混合时间尺度无功/电压控制［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 160 - 168 .

LI Peishuai ， WU Zaijun ， ZHANG Cuo ， et al . Distributed hybrid-timescale voltage/var control in active distribution networks ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 160 - 168 .

MAHDAVI S ， PANAMTASH H ， DIMITROVSKI A ， et al . Predictive coordinated and cooperative voltage control for systems with high penetration of PV ［J］. IEEE Transactions on Industry Applications ， 2021 ， 57 （ 3 ）： 2212 - 2222 .

徐添锐，丁涛，李立，等 . 适应三相不平衡主动配电网无功优化的二阶锥松弛模型［J］. 电力系统自动化， 2021 ， 45 （ 24 ）： 81 - 88 .

XU Tianrui ， DING Tao ， LI Li ， et al . Second-order cone relaxation model adapting to reactive power optimization for three-phase unbalanced active distribution network ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 24 ）： 81 - 88 .

李晓明，刘翔宇，李安昌，等 . 配电网电压控制的分布式光伏无功仿射可调鲁棒优化方法［J］. 电力系统保护与控制， 2021 ， 49 （ 12 ）： 124 - 131 .

LI Xiaoming ， LIU Xiangyu ， LI Anchang ， et al . Distributed photovoltaic reactive power affine adjustable robust optimization method for voltage control of a distribution network ［J］. Power System Protection and Control ， 2021 ， 49 （ 12 ）： 124 - 131 .

姜涛，张东辉，李雪，等 . 含分布式光伏的主动配电网电压分布式优化控制［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 102 - 109 .

JIANG Tao ， ZHANG Donghui ， LI Xue ， et al . Distributed optimal control of voltage in active distribution network with distributed photovoltaic ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 102 - 109 .

符杨，郭笑岩，米阳，等 . 基于强化学习的直流微电网分布式经济下垂控制［J］. 电力自动化设备， 2021 ， 41 （ 11 ）： 1 - 7 .

FU Yang ， GUO Xiaoyan ， MI Yang ， et al . Distributed economic droop control for DC microgrid based on reinforcement learning ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 11 ）： 1 - 7 .

杨思明，单征，丁煜，等 . 深度强化学习研究综述［J］. 计算机工程， 2021 ， 47 （ 12 ）： 19 - 29 .

YANG Siming ， SHAN Zheng ， DING Yu ， et al . Survey of research on deep reinforcement learning ［J］. Computer Engineering ， 2021 ， 47 （ 12 ）： 19 - 29 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

DUAN J J ， SHI D ， DIAO R S ， et al . Deep-reinforcement-learning-based autonomous voltage control for power grid operations ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 1 ）： 814 - 817 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2022-05-09 ］. https：//arxiv.org/abs/1509.02971 https://arxiv.org/abs/1509.02971 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

梁煜东，陈峦，张国洲，等 . 基于深度强化学习的多能互补发电系统负荷频率控制策略［J］. 电工技术学报， 2022 ， 37 （ 7 ）： 1768 - 1779 .

LIANG Yudong ， CHEN Luan ， ZHANG Guozhou ， et al . Load frequency control strategy of hybrid power generation system： a deep reinforcement learning-based approach ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 7 ）： 1768 - 1779 .

SUN X Z ， QIU J . Two-stage volt/var control in active distribution networks with multi-agent deep reinforcement learning method ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2903 - 2912 .

孙浩洋，张冀川，王鹏，等 . 面向配电物联网的边缘计算技术［J］. 电网技术， 2019 ， 43 （ 12 ）： 4314 - 4321 .

SUN Haoyang ， ZHANG Jichuan ， WANG Peng ， et al . Edge computation technology based on distribution Internet of Things ［J］. Power System Technology ， 2019 ， 43 （ 12 ）： 4314 - 4321 .

刘东奇，曾祥君，王耀南 . 边缘计算架构下配电台区虚拟电站控制策略［J］. 电工技术学报， 2021 ， 36 （ 13 ）： 2852 - 2860 .

LIU Dongqi ， ZENG Xiangjun ， WANG Yaonan . Control strategy of virtual power station in distribution transformer area under edge computing architecture ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 13 ）： 2852 - 2860 .

尚立，蔡硕，崔俊彬，等 . 基于软件定义网络的电网边缘计算资源分配［J］. 电力系统保护与控制， 2021 ， 49 （ 20 ）： 136 - 143 .

SHANG Li ， CAI Shuo ， CUI Junbin ， et al . SDN-based MEC resource allocation of a power grid ［J］. Power System Protection and Control ， 2021 ， 49 （ 20 ）： 136 - 143 .

江翼，刘正阳，王文瑞，等 . 基于边云协同的变电设备多状态量监测系统研究［J］. 电力系统保护与控制， 2021 ， 49 （ 6 ）： 138 - 144 .

JIANG Yi ， LIU Zhengyang ， WANG Wenrui ， et al . Research on multi-state monitoring system of substation equipment based on edge-cloud collaboration ［J］. Power System Protection and Control ， 2021 ， 49 （ 6 ）： 138 - 144 .

LU R Z ， LI Y C ， LI Y T ， et al . Multi-agent deep reinforcement learning based demand response for discrete manufacturing systems energy management ［J］. Applied Energy ， 2020 ， 276 ： 115473 .

ZHANG Q Z ， DEHGHANPOUR K ， WANG Z Y ， et al . Multi-agent safe policy learning for power management of networked microgrids ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1048 - 1062 .

YAN Z M ， XU Y . A multi-agent deep reinforcement learning method for cooperative load frequency control of a multi-area power system ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 6 ）： 4599 - 4608 .

刘海鹏，尹忠东，赵士硕 . 磁控电抗器快速性研究［J］. 电力电子技术， 2013 ， 47 （ 1 ）： 15 - 17 .

LIU Haipeng ， YIN Zhongdong ， ZHAO Shishuo . Research on the quickness of magnetically controlled reactor ［J］. Power Electronics ， 2013 ， 47 （ 1 ）： 15 - 17 .

陈锴，杨帆，唐剑，等 . 高比例磁控电抗器区域无功电压精准调控系统及控制策略研究［J］. 高电压技术， 2022 ， 48 （ 5 ）： 1979 - 1986 .

CHEN Kai ， YANG Fan ， TANG Jian ， et al . Regional AVC coordinated precise control based on high proportion MCR ［J］. High Voltage Engineering ， 2022 ， 48 （ 5 ）： 1979 - 1986 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于两阶段规划法的有源配电网综合电压优化控制

基于多智能体深度强化学习的主动配电网电压调控策略