基于多智能体深度强化学习的主动配电网电压调控策略

黄煜; 张潇潇; 岳东; 胡松林; 王娟; 李祝昆

doi:10.7500/AEPS20250115001

您当前的位置：

首页 >

文章列表页 >

基于多智能体深度强化学习的主动配电网电压调控策略

学术研究 | 更新时间：2025-09-25

- 基于多智能体深度强化学习的主动配电网电压调控策略
- Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning
- 电力系统自动化 2025年49卷第18期页码：65-73
- 作者机构：
  
  1.南京邮电大学碳中和先进技术研究院，江苏省南京市 210023
  2.国电南瑞科技股份有限公司，江苏省南京市 211106
- 作者简介：
  
  黄煜(1992—)，男，博士，副教授，硕士生导师，主要研究方向：新能源发电与智能配电网。E-mail：huangyu@njupt.eu.cn
  张潇潇(2000—)，男，硕士研究生，主要研究方向：新能源发电与智能配电网。E-mail：1222056321@njupt.edu.cn
  岳东(1966—)，男，通信作者，教授，博士生导师，主要研究方向：网络化控制、智能配电网。E-mail：hy_1992@foxmail.com
- 基金信息：
  
  江苏省自然科学基金资助项目(BK20232026)
- DOI：10.7500/AEPS20250115001
  中图分类号：
- 收稿日期：2025-01-15，
  
  修回日期：2025-05-28，
  
  网络出版日期：2025-07-22，
  
  纸质出版日期：2025-09-25
- 稿件说明：
移动端阅览
黄煜,张潇潇,岳东等.基于多智能体深度强化学习的主动配电网电压调控策略[J].电力系统自动化,2025,49(18):65-73.

HUANG Yu,ZHANG Xiaoxiao,YUE Dong,et al.Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):65-73.
黄煜,张潇潇,岳东等.基于多智能体深度强化学习的主动配电网电压调控策略[J].电力系统自动化,2025,49(18):65-73. DOI： 10.7500/AEPS20250115001.

HUANG Yu,ZHANG Xiaoxiao,YUE Dong,et al.Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):65-73. DOI： 10.7500/AEPS20250115001.

摘要

针对高比例分布式光伏并网导致的配电网电压越限问题，提出了一种基于改进深度确定性策略梯度算法的电压调控策略。首先，文中提出基于方差的改进自适应噪声奖励函数，以动态调节智能体在环境中不同方差区域的学习能力，有效缓解策略偏差问题。然后，将评价函数由确定值形式转换为概率分布形式，以提升智能体对不确定性环境的适应能力。最后，引入

步回报方法，通过在贝尔曼方程中添加

步的奖励值，提升智能体对长期效益的评估能力。IEEE 123节点配电系统的仿真结果表明，所提策略在降低电压越限率、减少网络损耗以及增强复杂运行环境中的策略泛化能力方面具有显著优势。

Abstract

To address the problem of the voltage violation in distribution networks caused by high-penetration distributed photovoltaic integration

this paper proposes a voltage regulation strategy based on an improved deep deterministic policy gradient (IDDPG) algorithm. Firstly

this paper proposes an improved variance-based adaptive noisy reward function to dynamically adjust the learning capability of agents in regions with various variances of environment

effectively mitigating policy bias. Secondly

the evaluation function is converted from a deterministic value representation to a probabilistic distribution form

thereby enhancing the adaptability of agents to uncertain environmental conditions. Finally

-step return method is introduced

which enhances the capability of agents to assess long-term benefits by adding

-step reward values to the Bellman equation. The simulation results of the IEEE 123-bus distribution system show that the proposed strategy has significant advantages in reducing voltage violation rates

decreasing network losses

and enhancing policy generalization capabilities in complex operational environments.

关键词

Keywords

references

中华人民共和国工业和信息化部 . 智能光伏产业创新发展行动计划［EB/OL］.［ 2025-01-15 ］. https：//www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm https://www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm .

Ministry of Industry and Information Technology of the People’s Republic of China . Action plan for innovation and development of smart PV industry ［EB/OL］. ［ 2025-01-15 ］. https：//www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm https://www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm .

国家能源局 . 2021年光伏发电建设运行情况［EB/OL］.［ 2025-01-15 ］. https：//www.nea.gov.cn/2022-03/09/c_1310508114.htm https://www.nea.gov.cn/2022-03/09/c_1310508114.htm .

National Energy Administration . Photovoltaic power generation construction and operation in 2021 ［EB/OL］. ［ 2025-01-15 ］. https：//www.nea.gov.cn/2022-03/09/c_1310508114.htm https://www.nea.gov.cn/2022-03/09/c_1310508114.htm .

高冠中，杨胜春，郭晓蕊，等 . 深度强化学习在含分布式柔性资源的电网优化调度中的应用研究综述［J］. 中国电机工程学报， 2024 ， 44 （ 16 ）： 6385 - 6404 .

GAO Guanzhong ， YANG Shengchun ， GUO Xiaorui ， et al . A review of research on the application of deep reinforcement learning in optimization dispatch of power grids with distributed flexible resources ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 16 ）： 6385 - 6404 .

毕聪博，唐聿劼，罗永红，等 . 电力系统优化控制中强化学习方法应用及挑战［J］. 中国电机工程学报， 2024 ， 44 （ 1 ）： 1 - 22 .

BI Congbo ， TANG Yujie ， LUO Yonghong ， et al . Review on critical problems in reinforcement learning methods applied in power system optimization and control scenarios ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 1 ）： 1 - 22 .

王磊，胡国，吴海，等 . 基于分层深度强化学习的分布式能源系统多能协同优化方法［J］. 电力系统自动化， 2024 ， 48 （ 1 ）： 67 - 76 .

WANG Lei ， HU Guo ， WU Hai ， et al . Multi-energy collaborative optimization method for distributed energy systems based on hierarchical deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 1 ）： 67 - 76 .

巨云涛，陈希，李嘉伟，等 . 基于分布式深度强化学习的微网群有功无功协调优化调度［J］. 电力系统自动化， 2023 ， 47 （ 1 ）： 115 - 125 .

JU Yuntao ， CHEN Xi ， LI Jiawei ， et al . Active and reactive power coordinated optimal dispatch of networked microgrids based on distributed deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 1 ）： 115 - 125 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

岳文斌，宁功韬，倪永亮，等 . 坦克装甲车辆电力系统源网荷储协同优化与安全控制：架构设计及前沿思考［J］. 兵工学报， 2024 ， 45 （ 8 ）： 2463 - 2477 .

YUE Wenbin ， NING Gongtao ， NI Yongliang ， et al . Collaborative optimization and security control of source-grid-loadstorage of tank and armored vehicle power system： architecture design and frontier thinking ［J］. Acta Armamentarii ， 2024 ， 45 （ 8 ）： 2463 - 2477 .

HAI D ， ZHU T ， DUAN S Q ， et al . Deep reinforcement learning for volt/VAR control in distribution systems： a review ［C］// 2022 5th International Conference on Energy， Electrical and Power Engineering （CEEPE）， April 22-24 ， 2022 ， Chongqing， China ： 596 - 601 .

SI R Q ， GAO T L ， DAI Y X ， et al . Evolutionary deep reinforcement learning for volt-VAR control in distribution network ［C］// 2022 IEEE 2nd International Conference on Digital Twins and Parallel Intelligence （DTPI）， October 24-28 ， 2022 ， Boston， USA .

LI W Y ， HUANG W ， ZHU T ， et al . Deep reinforcement learning based continuous volt-VAR optimization in power distribution systems with renewable energy resources ［C］// 2021 IEEE Sustainable Power and Energy Conference （iSPEC）， December 23-25 ， 2021 ， Nanjing， China ： 682 - 686 .

HOSSAIN R ， GAUTAM M ， MANSOURLAKOURAJ M ， et al . Multi-agent deep reinforcement learning-based volt-VAR control in active distribution grids ［C］// 2023 IEEE Power & Energy Society General Meeting （PESGM）， July 16-20 ， 2023 ， Orlando， USA .

LIU Q ， GUO Y ， DENG L R ， et al . Two-critic deep reinforcement learning for inverter-based volt-VAR control in active distribution networks ［J］. IEEE Transactions on Sustainable Energy ， 2024 ， 15 （ 3 ）： 1768 - 1781 .

LIU Q ， GUO Y ， DENG L R ， et al . Robust offline deep reinforcement learning for volt-VAR control in active distribution networks ［C］// 2021 IEEE 5th Conference on Energy Internet and Energy System Integration （EI2）， October 22-24 ， 2021 ， Taiyuan， China ： 442 - 448 .

LIU H Y ， ZHANG C ， GUO Q L . Data-driven robust voltage/VAR control using PV inverters in active distribution networks ［C］// 2020 International Conference on Smart Grids and Energy Systems （SGES）， November 23-26 ， 2020 ， Perth， Australia ： 314 - 319 .

冯昌森，张瑜，谢路耀，等 . 配电系统双时间尺度电压管理的深度强化学习方法［J］. 电力系统自动化， 2022 ， 46 （ 12 ）： 202 - 209 .

FENG Changsen ， ZHANG Yu ， XIE Luyao ， et al . Deep reinforcement learning approach for dual-time scale voltage management in distribution system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 12 ）： 202 - 209 .

CAO D ， ZHAO J B ， HU W H ， et al . Attention enabled multi-agent DRL for decentralized volt-VAR control of active distribution system using PV inverters and SVCs ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 3 ）： 1582 - 1592 .

HU D E ， PENG Y G ， YANG J X ， et al . Deep reinforcement learning based coordinated voltage control in smart distribution network ［C］// 2021 International Conference on Power System Technology （POWERCON）， December 8-9 ， 2021 ， Haikou， China ： 1030 - 1034 .

HOSSAIN R ， GAUTAM M ， MANSOURLAKOURAJ M ， et al . Soft actor critic based volt-VAR co-optimization in active distribution grids ［C］// 2022 IEEE Power & Energy Society General Meeting （PESGM）， July 17-21 ， 2022 ， Denver， USA .

LIU H T ， WU W C . Online multi-agent reinforcement learning for decentralized inverter-based volt-VAR control ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2980 - 2990 .

全欢，彭显刚，刘涵予，等 . 基于深度强化学习的配电网实时电压优化控制方法［J］. 电网技术， 2023 ， 47 （ 5 ）： 2029 - 2039 .

QUAN Huan ， PENG Xiangang ， LIU Hanyu ， et al . Voltage optimal control of distribution network based on deep reinforcement learning ［J］. Power System Technology ， 2023 ， 47 （ 5 ）： 2029 - 2039 .

VIVANTI R ， SOHLBERG-BARIS T D ， COHEN S ， et al . Adaptive symmetric reward noising for reinforcement learning ［EB/OL］. ［ 2025-01-15 ］. https：//arxiv.org/abs/1905.10144 https://arxiv.org/abs/1905.10144 .

TANG H ， HE Y ， WANG X ， et al . Two-stage multi-mode voltage control for distribution networks： a deep reinforcement learning approach based on multiple intelligences ［J］. IEEE Transactions on Industry Applications ， 2024 ， 60 （ 4 ）： 5681 - 5691 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

刘硕，冯斌，郭创新，等 . 考虑自注意力和时序记忆的深度强化学习配电网无功电压控制策略［J］. 中国电机工程学报， 2025 ， 45 （ 2 ）： 565 - 577 .

LIU Shuo ， FENG Bin ， GUO Chuangxin ， et al . Volt-VAR control strategy of distribution network based on deep reinforcement learning considering self-attention and temporal-memory ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 2 ）： 565 - 577 .

余宏晖，林声宏，朱建全，等 . 基于深度强化学习的微电网在线优化［J］. 电测与仪表， 2024 ， 61 （ 4 ）： 9 - 14 .

YU Honghui ， LIN Shenghong ， ZHU Jianquan ， et al . On-line optimization of micro-grid based on deep reinforcement learning ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 4 ）： 9 - 14 .

SAGLAM B ， MUTLU F B ， CICEK D C ， et al . Parameter-free reduction of the estimation bias in deep reinforcement learning for deterministic policy gradients ［J］. Neural Processing Letters ， 2024 ， 56 （ 2 ）： 80 .

胡丹尔，彭勇刚，韦巍，等 . 多时间尺度的配电网深度强化学习无功优化策略［J］. 中国电机工程学报， 2022 ， 42 （ 14 ）： 5034 - 5045 .

HU Daner ， PENG Yonggang ， WEI Wei ， et al . Multi-time scale deep reinforcement learning for reactive power optimization of distribution network ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 14 ）： 5034 - 5045 .

BARTH-MARON G ， HOFFMAN M W ， BUDDEN D ， et al . Distributed distributional deterministic policy gradients ［EB/OL］. ［ 2025-01-15 ］. https：//arxiv.org/abs/1804.08617v1 https://arxiv.org/abs/1804.08617v1 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

计及最优㶲流的综合能源系统多故障恢复策略

基于多智能体与改进目标级联法的输配协同优化调度

基于贝叶斯深度强化学习的主动配电网电压控制

基于数据驱动与物理模型的主动配电网双时间尺度协调优化