Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

HUANG Yu; ZHANG Xiaoxiao; YUE Dong; HU Songlin; WANG Juan; LI Zhukun

doi:10.7500/AEPS20250115001

您当前的位置：

首页 >

文章列表页 >

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Basic Research | 更新时间：2025-09-25

- Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 49, Issue 18, Pages: 65-73(2025)
- 作者机构：
  
  1.南京邮电大学碳中和先进技术研究院，江苏省南京市 210023
  2.国电南瑞科技股份有限公司，江苏省南京市 211106
- 作者简介：
- 基金信息：
  
  Jiangsu Provincial Natural Science Foundation of China(BK20232026)
- DOI：10.7500/AEPS20250115001
  CLC：
- Received：15 January 2025，
  
  Revised：2025-05-28，
  
  Published Online：22 July 2025，
  
  Published：25 September 2025
- 稿件说明：
移动端阅览
黄煜,张潇潇,岳东等.基于多智能体深度强化学习的主动配电网电压调控策略[J].电力系统自动化,2025,49(18):65-73.

HUANG Yu,ZHANG Xiaoxiao,YUE Dong,et al.Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):65-73.
黄煜,张潇潇,岳东等.基于多智能体深度强化学习的主动配电网电压调控策略[J].电力系统自动化,2025,49(18):65-73. DOI： 10.7500/AEPS20250115001.

HUANG Yu,ZHANG Xiaoxiao,YUE Dong,et al.Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(18):65-73. DOI： 10.7500/AEPS20250115001.

摘要

针对高比例分布式光伏并网导致的配电网电压越限问题，提出了一种基于改进深度确定性策略梯度算法的电压调控策略。首先，文中提出基于方差的改进自适应噪声奖励函数，以动态调节智能体在环境中不同方差区域的学习能力，有效缓解策略偏差问题。然后，将评价函数由确定值形式转换为概率分布形式，以提升智能体对不确定性环境的适应能力。最后，引入

步回报方法，通过在贝尔曼方程中添加

步的奖励值，提升智能体对长期效益的评估能力。IEEE 123节点配电系统的仿真结果表明，所提策略在降低电压越限率、减少网络损耗以及增强复杂运行环境中的策略泛化能力方面具有显著优势。

Abstract

To address the problem of the voltage violation in distribution networks caused by high-penetration distributed photovoltaic integration

this paper proposes a voltage regulation strategy based on an improved deep deterministic policy gradient (IDDPG) algorithm. Firstly

this paper proposes an improved variance-based adaptive noisy reward function to dynamically adjust the learning capability of agents in regions with various variances of environment

effectively mitigating policy bias. Secondly

the evaluation function is converted from a deterministic value representation to a probabilistic distribution form

thereby enhancing the adaptability of agents to uncertain environmental conditions. Finally

-step return method is introduced

which enhances the capability of agents to assess long-term benefits by adding

-step reward values to the Bellman equation. The simulation results of the IEEE 123-bus distribution system show that the proposed strategy has significant advantages in reducing voltage violation rates

decreasing network losses

and enhancing policy generalization capabilities in complex operational environments.

关键词

Keywords

references

中华人民共和国工业和信息化部 . 智能光伏产业创新发展行动计划［EB/OL］.［ 2025-01-15 ］. https：//www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm https://www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm .

Ministry of Industry and Information Technology of the People’s Republic of China . Action plan for innovation and development of smart PV industry ［EB/OL］. ［ 2025-01-15 ］. https：//www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm https://www.gov.cn/zhengce/zhengceku/2022-01/05/content_5666484.htm .

国家能源局 . 2021年光伏发电建设运行情况［EB/OL］.［ 2025-01-15 ］. https：//www.nea.gov.cn/2022-03/09/c_1310508114.htm https://www.nea.gov.cn/2022-03/09/c_1310508114.htm .

National Energy Administration . Photovoltaic power generation construction and operation in 2021 ［EB/OL］. ［ 2025-01-15 ］. https：//www.nea.gov.cn/2022-03/09/c_1310508114.htm https://www.nea.gov.cn/2022-03/09/c_1310508114.htm .

高冠中，杨胜春，郭晓蕊，等 . 深度强化学习在含分布式柔性资源的电网优化调度中的应用研究综述［J］. 中国电机工程学报， 2024 ， 44 （ 16 ）： 6385 - 6404 .

GAO Guanzhong ， YANG Shengchun ， GUO Xiaorui ， et al . A review of research on the application of deep reinforcement learning in optimization dispatch of power grids with distributed flexible resources ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 16 ）： 6385 - 6404 .

毕聪博，唐聿劼，罗永红，等 . 电力系统优化控制中强化学习方法应用及挑战［J］. 中国电机工程学报， 2024 ， 44 （ 1 ）： 1 - 22 .

BI Congbo ， TANG Yujie ， LUO Yonghong ， et al . Review on critical problems in reinforcement learning methods applied in power system optimization and control scenarios ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 1 ）： 1 - 22 .

王磊，胡国，吴海，等 . 基于分层深度强化学习的分布式能源系统多能协同优化方法［J］. 电力系统自动化， 2024 ， 48 （ 1 ）： 67 - 76 .

WANG Lei ， HU Guo ， WU Hai ， et al . Multi-energy collaborative optimization method for distributed energy systems based on hierarchical deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 1 ）： 67 - 76 .

巨云涛，陈希，李嘉伟，等 . 基于分布式深度强化学习的微网群有功无功协调优化调度［J］. 电力系统自动化， 2023 ， 47 （ 1 ）： 115 - 125 .

JU Yuntao ， CHEN Xi ， LI Jiawei ， et al . Active and reactive power coordinated optimal dispatch of networked microgrids based on distributed deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 1 ）： 115 - 125 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

岳文斌，宁功韬，倪永亮，等 . 坦克装甲车辆电力系统源网荷储协同优化与安全控制：架构设计及前沿思考［J］. 兵工学报， 2024 ， 45 （ 8 ）： 2463 - 2477 .

YUE Wenbin ， NING Gongtao ， NI Yongliang ， et al . Collaborative optimization and security control of source-grid-loadstorage of tank and armored vehicle power system： architecture design and frontier thinking ［J］. Acta Armamentarii ， 2024 ， 45 （ 8 ）： 2463 - 2477 .

HAI D ， ZHU T ， DUAN S Q ， et al . Deep reinforcement learning for volt/VAR control in distribution systems： a review ［C］// 2022 5th International Conference on Energy， Electrical and Power Engineering （CEEPE）， April 22-24 ， 2022 ， Chongqing， China ： 596 - 601 .

SI R Q ， GAO T L ， DAI Y X ， et al . Evolutionary deep reinforcement learning for volt-VAR control in distribution network ［C］// 2022 IEEE 2nd International Conference on Digital Twins and Parallel Intelligence （DTPI）， October 24-28 ， 2022 ， Boston， USA .

LI W Y ， HUANG W ， ZHU T ， et al . Deep reinforcement learning based continuous volt-VAR optimization in power distribution systems with renewable energy resources ［C］// 2021 IEEE Sustainable Power and Energy Conference （iSPEC）， December 23-25 ， 2021 ， Nanjing， China ： 682 - 686 .

HOSSAIN R ， GAUTAM M ， MANSOURLAKOURAJ M ， et al . Multi-agent deep reinforcement learning-based volt-VAR control in active distribution grids ［C］// 2023 IEEE Power & Energy Society General Meeting （PESGM）， July 16-20 ， 2023 ， Orlando， USA .

LIU Q ， GUO Y ， DENG L R ， et al . Two-critic deep reinforcement learning for inverter-based volt-VAR control in active distribution networks ［J］. IEEE Transactions on Sustainable Energy ， 2024 ， 15 （ 3 ）： 1768 - 1781 .

LIU Q ， GUO Y ， DENG L R ， et al . Robust offline deep reinforcement learning for volt-VAR control in active distribution networks ［C］// 2021 IEEE 5th Conference on Energy Internet and Energy System Integration （EI2）， October 22-24 ， 2021 ， Taiyuan， China ： 442 - 448 .

LIU H Y ， ZHANG C ， GUO Q L . Data-driven robust voltage/VAR control using PV inverters in active distribution networks ［C］// 2020 International Conference on Smart Grids and Energy Systems （SGES）， November 23-26 ， 2020 ， Perth， Australia ： 314 - 319 .

冯昌森，张瑜，谢路耀，等 . 配电系统双时间尺度电压管理的深度强化学习方法［J］. 电力系统自动化， 2022 ， 46 （ 12 ）： 202 - 209 .

FENG Changsen ， ZHANG Yu ， XIE Luyao ， et al . Deep reinforcement learning approach for dual-time scale voltage management in distribution system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 12 ）： 202 - 209 .

CAO D ， ZHAO J B ， HU W H ， et al . Attention enabled multi-agent DRL for decentralized volt-VAR control of active distribution system using PV inverters and SVCs ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 3 ）： 1582 - 1592 .

HU D E ， PENG Y G ， YANG J X ， et al . Deep reinforcement learning based coordinated voltage control in smart distribution network ［C］// 2021 International Conference on Power System Technology （POWERCON）， December 8-9 ， 2021 ， Haikou， China ： 1030 - 1034 .

HOSSAIN R ， GAUTAM M ， MANSOURLAKOURAJ M ， et al . Soft actor critic based volt-VAR co-optimization in active distribution grids ［C］// 2022 IEEE Power & Energy Society General Meeting （PESGM）， July 17-21 ， 2022 ， Denver， USA .

LIU H T ， WU W C . Online multi-agent reinforcement learning for decentralized inverter-based volt-VAR control ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2980 - 2990 .

全欢，彭显刚，刘涵予，等 . 基于深度强化学习的配电网实时电压优化控制方法［J］. 电网技术， 2023 ， 47 （ 5 ）： 2029 - 2039 .

QUAN Huan ， PENG Xiangang ， LIU Hanyu ， et al . Voltage optimal control of distribution network based on deep reinforcement learning ［J］. Power System Technology ， 2023 ， 47 （ 5 ）： 2029 - 2039 .

VIVANTI R ， SOHLBERG-BARIS T D ， COHEN S ， et al . Adaptive symmetric reward noising for reinforcement learning ［EB/OL］. ［ 2025-01-15 ］. https：//arxiv.org/abs/1905.10144 https://arxiv.org/abs/1905.10144 .

TANG H ， HE Y ， WANG X ， et al . Two-stage multi-mode voltage control for distribution networks： a deep reinforcement learning approach based on multiple intelligences ［J］. IEEE Transactions on Industry Applications ， 2024 ， 60 （ 4 ）： 5681 - 5691 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

刘硕，冯斌，郭创新，等 . 考虑自注意力和时序记忆的深度强化学习配电网无功电压控制策略［J］. 中国电机工程学报， 2025 ， 45 （ 2 ）： 565 - 577 .

LIU Shuo ， FENG Bin ， GUO Chuangxin ， et al . Volt-VAR control strategy of distribution network based on deep reinforcement learning considering self-attention and temporal-memory ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 2 ）： 565 - 577 .

余宏晖，林声宏，朱建全，等 . 基于深度强化学习的微电网在线优化［J］. 电测与仪表， 2024 ， 61 （ 4 ）： 9 - 14 .

YU Honghui ， LIN Shenghong ， ZHU Jianquan ， et al . On-line optimization of micro-grid based on deep reinforcement learning ［J］. Electrical Measurement & Instrumentation ， 2024 ， 61 （ 4 ）： 9 - 14 .

SAGLAM B ， MUTLU F B ， CICEK D C ， et al . Parameter-free reduction of the estimation bias in deep reinforcement learning for deterministic policy gradients ［J］. Neural Processing Letters ， 2024 ， 56 （ 2 ）： 80 .

胡丹尔，彭勇刚，韦巍，等 . 多时间尺度的配电网深度强化学习无功优化策略［J］. 中国电机工程学报， 2022 ， 42 （ 14 ）： 5034 - 5045 .

HU Daner ， PENG Yonggang ， WEI Wei ， et al . Multi-time scale deep reinforcement learning for reactive power optimization of distribution network ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 14 ）： 5034 - 5045 .

BARTH-MARON G ， HOFFMAN M W ， BUDDEN D ， et al . Distributed distributional deterministic policy gradients ［EB/OL］. ［ 2025-01-15 ］. https：//arxiv.org/abs/1804.08617v1 https://arxiv.org/abs/1804.08617v1 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-fault Recovery Strategy for Integrated Energy System Considering Optimal Exergy Flow

Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method

Voltage Control for Active Distribution Network Based on Bayesian Deep Reinforcement Learning

Dual-timescale Active and Reactive Power Coordinated Optimization for Active Distribution Network Based on Data-driven and Physical Model

Related Author

WANG Juan

LI Zhukun

LI Hongzhong

LUO Longxiao

WU Zeping

MI Yang

JI Xingquan

SUN Chenhao

Related Institution

NARI Group Corporation (State Grid Electric Power Research Institute)

College of Electrical Engineering, Shanghai University of Electric Power

Construction Branch of State Grid Zhejiang Electric Power Co., Ltd.

College of Electrical Engineering and Automation, Shandong University of Science and Technology

Key Laboratory of Power System Intelligent Dispatch and Control of Ministry of Education (Shandong University)

⁰