Two-stage Centralized-Distributed Voltage Control for Distribution Networks Based on Deep Reinforcement Learning

LIU Qi; LIU Jiayan; LI Yong; JIA Dongli; YE Xueshun; ZHOU Jun

doi:10.7500/AEPS20250220001

您当前的位置：

首页 >

文章列表页 >

Two-stage Centralized-Distributed Voltage Control for Distribution Networks Based on Deep Reinforcement Learning

Basic Research | 更新时间：2026-02-28

- Two-stage Centralized-Distributed Voltage Control for Distribution Networks Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 49, Issue 20, Pages: 174-182(2025)
- 作者机构：
  
  1.湖南大学电气与信息工程学院，湖南省长沙市 410082
  2.中国电力科学研究院有限公司，北京市 100192
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5400-202355199A-1-1-ZN)
- DOI：10.7500/AEPS20250220001
  CLC：
- Received：20 February 2025，
  
  Revised：2025-06-07，
  
  Online First：25 July 2025，
  
  Published：25 October 2025
- 稿件说明：
移动端阅览
刘骐,刘嘉彦,李勇等.基于深度强化学习的两阶段集中-分布式配电网电压调控[J].电力系统自动化,2025,49(20):174-182.

LIU Qi,LIU Jiayan,LI Yong,et al.Two-stage Centralized-Distributed Voltage Control for Distribution Networks Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(20):174-182.
刘骐,刘嘉彦,李勇等.基于深度强化学习的两阶段集中-分布式配电网电压调控[J].电力系统自动化,2025,49(20):174-182. DOI： 10.7500/AEPS20250220001.

LIU Qi,LIU Jiayan,LI Yong,et al.Two-stage Centralized-Distributed Voltage Control for Distribution Networks Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(20):174-182. DOI： 10.7500/AEPS20250220001.

摘要

含高渗透率分布式光伏的配电网中存在调节设备动作不匹配、电压频繁越限的问题，给配电网运行控制带来了严峻挑战。为此，文中提出一种基于深度强化学习的两阶段集中-分布式配电网电压调控方法。该方法在长时间尺度下将有载调压变压器的投切动作转化为马尔可夫决策过程，以离散调节设备的动作和电压偏移情况综合最优为目标，建立基于离散设备投切计划的日前集中式优化模型；在短时间尺度下将多光伏逆变器协调控制转化为马尔可夫博弈过程，以节点电压偏差和线路损耗最小为目标，建立基于多智能体的日内分布式调控模型。考虑不同设备之间的调节特性和交互影响，通过日前优化和日内实时控制，协调了不同设备间离散-连续混合动作，以平抑节点电压波动。最后，基于改进的IEEE 33节点和中国南方某高渗透率光伏配电网算例进行仿真分析，验证了所提方法的有效性和可扩展性。

Abstract

The distribution network with high-penetration distributed photovoltaics has problems of mismatched operation of regulating equipment and frequent voltage violations

which pose serious challenges to the operation and control of the distribution network. Therefore

a two-stage centralized-distributed voltage control method for distribution networks based on deep reinforcement learning is proposed. This method transforms the switching operation of on-load tap changers into a Markov decision process on a long time scale

aiming to comprehensively optimize the action of discrete regulating equipment and voltage deviation

and establishes a day-ahead centralized optimization model based on discrete equipment switching plans. This method also transforms the coordinated control of multiple photovoltaic inverters into a Markov game process on a short time scale

with the goal of minimizing node voltage deviation and line loss

and establishes a multi-agent based intra-day distributed control model. Considering the regulation characteristics and interactive effects between various equipment

the discrete-continuous mixed actions between various equipment are coordinated through day-ahead optimization and intra-day real-time control to mitigate node voltage fluctuations. Finally

the simulation analysis is conducted based on the modified IEEE 33-bus distribution network and a high-penetration photovoltaic distribution network in Southern China to verify the effectiveness and scalability of the proposed method.

关键词

Keywords

references

舒印彪，赵勇，赵良，等 . “双碳”目标下我国能源电力低碳转型路径［J］. 中国电机工程学报， 2023 ， 43 （ 5 ）： 1663 - 1672 .

SHU Yinbiao ， ZHAO Yong ， ZHAO Liang ， et al . Study on low carbon energy transition path toward carbon peak and carbon neutrality ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 5 ）： 1663 - 1672 .

张智刚，康重庆 . 碳中和目标下构建新型电力系统的挑战与展望［J］. 中国电机工程学报， 2022 ， 42 （ 8 ）： 2806 - 2819 .

ZHANG Zhigang ， KANG Chongqing . Challenges and prospects for constructing the new-type power system towards a carbon neutrality future ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 8 ）： 2806 - 2819 .

习伟，李鹏，李鹏，等 . 基于深度强化学习的分布式电源就地自适应电压控制方法［J］. 电力系统自动化， 2022 ， 46 （ 22 ）： 25 - 31 .

XI Wei ， LI Peng ， LI Peng ， et al . Adaptive local voltage control method for distributed generator based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 22 ）： 25 - 31 .

SUN X Z ， QIU J ， ZHAO J H . Optimal local volt/var control for photovoltaic inverters in active distribution networks ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 6 ）： 5756 - 5766 .

NOUSDILIS A I ， KRYONIDIS G C ， KONTIS E O ， et al . An exponential droop control strategy for distributed energy storage systems integrated with photovoltaics ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 4 ）： 3317 - 3328 .

TEWARI T ， MOHAPATRA A ， ANAND S . Coordinated control of OLTC and energy storage for voltage regulation in distribution network with high PV penetration ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 1 ）： 262 - 272 .

MA W ， WANG W ， CHEN Z ， et al . A centralized voltage regulation method for distribution networks containing high penetrations of photovoltaic power ［J］. International Journal of Electrical Power & Energy Systems ， 2021 ， 129 ： 106852 .

刘嘉彦，李勇，曹一家，等 . 考虑光伏利用效率的中低压配电网电压抬升抑制方法［J］. 电力系统自动化， 2018 ， 42 （ 15 ）： 171 - 177 .

LIU Jiayan ， LI Yong ， CAO Yijia ， et al . Suppression method of voltage rise in medium and low distribution networks considering utilization efficiency of photovoltaic power ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 15 ）： 171 - 177 .

路小俊，吴在军，李培帅，等 . 面向光伏集群的配电网模型-数据联合驱动无功/电压控制［J］. 电力系统自动化， 2024 ， 48 （ 9 ）： 97 - 106 .

LU Xiaojun ， WU Zaijun ， LI Peishuai ， et al . Combined model-and data-driven volt/var control for distribution network with photovoltaic clusters ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 9 ）： 97 - 106 .

MENG L ， YANG X Y ， ZHU J ， et al . Network partition and distributed voltage coordination control strategy of active distribution network system considering photovoltaic uncertainty ［J］. Applied Energy ， 2024 ， 362 ： 122846 .

LIU J Y ， LIN G ， REHTANZ C ， et al . Data-driven intelligent EV charging operating with limited chargers considering the charging demand forecasting ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 141 ： 108218 .

WANG L C ， XIE L C ， YANG Y ， et al . Distributed online voltage control with fast PV power fluctuations and imperfect communication ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 5 ）： 3681 - 3695 .

黄冬梅，余京朋，崔承刚，等 . 多时间尺度深度强化学习光储配电网电压优化［J/OL］. 中国电机工程学报［ 2024-10-15 ］. https：//link.cnki.net/doi/10.13334/j.0258-8013.pcsee.240403 https://link.cnki.net/doi/10.13334/j.0258-8013.pcsee.240403 .

HUANG Dongmei ， YU Jingpeng ， CUI Chenggang ， et al . Voltage optimization for PV-ES distribution network with multi-timescale deep reinforcement learning method ［J/OL］. Proceedings of the CSEE ［ 2024-10-15 ］. https：//link.cnki.net/doi/10.13334/j.0258-8013.pcsee.240403 https://link.cnki.net/doi/10.13334/j.0258-8013.pcsee.240403 .

LI C ， LI Y ， LIU J Y ， et al . Deep reinforcement learning based voltage regulation in edge computing paradigm for PV rich distribution networks ［J］. Electric Power Systems Research ， 2025 ， 238 ： 111159 .

KOU P ， LIANG D L ， WANG C ， et al . Safe deep reinforcement learning-based constrained optimal control scheme for active distribution networks ［J］. Applied Energy ， 2020 ， 264 ： 114772 .

马庆，邓长虹 . 基于单/多智能体简化强化学习的电力系统无功电压控制［J］. 电工技术学报， 2024 ， 39 （ 5 ）： 1300 - 1312 .

MA Qing ， DENG Changhong . Single/multi agent simplified deep reinforcement learning based volt-var control of power system ［J］. Transactions of China Electrotechnical Society ， 2024 ， 39 （ 5 ）： 1300 - 1312 .

XU H C ， DOMÍNGUEZ-GARCÍA A D ， SAUER P W . Optimal tap setting of voltage regulation transformers using batch reinforcement learning ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 3 ）： 1990 - 2001 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

张蕊，李铁成，李晓明，等 . 考虑设备动作损耗的配电网分布式电压无功优化［J］. 电力系统保护与控制， 2021 ， 49 （ 24 ）： 31 - 40 .

ZHANG Rui ， LI Tiecheng ， LI Xiaoming ， et al . Distributed optimization for distribution networks volt/var control considering the operation cost of equipment ［J］. Power System Protection and Control ， 2021 ， 49 （ 24 ）： 31 - 40 .

黎家明，霍群海，尹靖元，等 . 考虑柔性有载调压变压器的两阶段电压无功优化协调控制方法研究［J］. 电网技术， 2025 ， 49 （ 1 ）： 272 - 283 .

LI Jiaming ， HUO Qunhai ， YIN Jingyuan ， et al . Research on two-stage voltage and reactive power optimization coordinated control method considering flexible on-load tap changer ［J］. Power System Technology ， 2025 ， 49 （ 1 ）： 272 - 283 .

JIAO W S ， CHEN J ， WU Q W ， et al . Distributed coordinated voltage control for distribution networks with DG and OLTC based on MPC and gradient projection ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 1 ）： 680 - 690 .

ZHOU E . Solar-PV generation data & load data ［EB/OL］. ［ 2024-10-05 ］. https：//www.elia.be/en/grid-data/power-generation https://www.elia.be/en/grid-data/power-generation .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2024-10-05 ］. https：//arxiv.org/abs/1509.02971v6 https://arxiv.org/abs/1509.02971v6 .

POTTER A ， HAIDER R ， FERRO G ， et al . A reactive power market for the future grid ［J］. Advances in Applied Energy ， 2023 ， 9 ： 100114 .

祖文静，李勇，谭益，等 . 高渗透率可再生能源配电网测试系统建模与有效性分析［J］. 电力自动化设备， 2019 ， 39 （ 7 ）： 45 - 50 .

ZU Wenjing ， LI Yong ， TAN Yi ， et al . Modeling and effectiveness analysis on test system for distribution networks with high penetration of renewable resource ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 7 ）： 45 - 50 .

孙充勃，李敬如，罗凤章，等 . 考虑分布式电源接入的配电系统典型算例设计［J］. 电力建设， 2020 ， 41 （ 10 ）： 47 - 62 .

SUN Chongbo ， LI Jingru ， LUO Fengzhang ， et al . Typical case design of distribution system considering DG integration ［J］. Electric Power Construction ， 2020 ， 41 （ 10 ）： 47 - 62 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Real-time Coordinated Pricing Method for Charging Stations Based on Multi-agent Deep Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

WANG Juan

LI Zhukun

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

NARI Group Corporation (State Grid Electric Power Research Institute)

College of Electrical Engineering, Qingdao University

School of Electrical and Power Engineering, Taiyuan University of Technology

⁰