基于双层强化学习的有源配电网中低压协同趋优运行策略

王允祥; 刘友波; 廖红兵; 唐志远; 高红均; 刘俊勇

doi:10.7500/AEPS20250618007

您当前的位置：

首页 >

文章列表页 >

基于双层强化学习的有源配电网中低压协同趋优运行策略

学术研究 | 更新时间：2026-02-28

- 基于双层强化学习的有源配电网中低压协同趋优运行策略
- Medium- and Low-voltage Collaborative Optimal Operation Strategy in Active Distribution Network Based on Double-layer Reinforcement Learning
- 电力系统自动化 2025年49卷第24期页码：41-50
- 作者机构：
  
  1.四川大学电气工程学院，四川省成都市 610065
  2.国网成都市青白江供电公司，四川省成都市 610300
- 作者简介：
  
  王允祥(2001—)，男，硕士研究生，主要研究方向：配电网电压控制。E-mail：wyx678319@163.com
  刘友波(1983—)，男，通信作者，博士，教授，主要研究方向：电力系统人工智能、低碳电力市场、分布式能源与储能。E-mail：liuyoubo@scu.edu.cn
  廖红兵(1981—)，男，硕士，高级工程师，主要研究方向：配电网优化运行。E-mail：2577523821@qq.com
- 基金信息：
  
  国家自然科学基金青年基金资助项目(52207127);四川省重大科技项目(2024ZDZX0031)
- DOI：10.7500/AEPS20250618007
  中图分类号：
- 收稿：2025-06-18，
  
  修回：2025-08-21，
  
  网络首发：2025-09-26，
  
  纸质出版：2025-12-25
- 稿件说明：
移动端阅览
王允祥,刘友波,廖红兵等.基于双层强化学习的有源配电网中低压协同趋优运行策略[J].电力系统自动化,2025,49(24):41-50.

WANG Yunxiang,LIU Youbo,LIAO Hongbing,et al.Medium- and Low-voltage Collaborative Optimal Operation Strategy in Active Distribution Network Based on Double-layer Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(24):41-50.
王允祥,刘友波,廖红兵等.基于双层强化学习的有源配电网中低压协同趋优运行策略[J].电力系统自动化,2025,49(24):41-50. DOI： 10.7500/AEPS20250618007.

WANG Yunxiang,LIU Youbo,LIAO Hongbing,et al.Medium- and Low-voltage Collaborative Optimal Operation Strategy in Active Distribution Network Based on Double-layer Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(24):41-50. DOI： 10.7500/AEPS20250618007.

摘要

针对传统优化方法难以适应参数杂散可观性差的配电网、难以协同响应时间各异的调节设备，且未兼顾低压台区反向负载率电压和网损优化等目标，提出面向弱可观性中低压配电网的双层强化学习协同趋优控制方法。首先，选择关键量测节点构建物理引导的两阶段神经网络潮流估计模型，通过嵌入物理先验知识实现台区反向负载率、节点电压和网损等关键状态的准确感知。其次，针对低压台区反向负载率过载、电压越限和网损增加等多种调节需求，设计光伏逆变器多模态自适应控制策略。然后，将上层有载调压器控制与下层智能软开关/光伏逆变器控制分别建模为部分可观的马尔可夫博弈过程，通过跨层奖励机制实现设备多时间尺度协同趋优。采用集成注意力机制的多智能体动作-评价算法高效提取与智能体自身决策强相关信息，降低评价网络输入维度，加速收敛。结果表明，所提方法可准确感知中低压配电网关键状态信息，实现含多类调节设备的中低压配电网台区反向负载率、节点电压和网损协同趋优控制。

Abstract

Aiming at the difficulty of traditional optimization methods in adapting to distribution networks with poor parameter heterogeneity and observability and collaborating with the regulating devices with various response time

and failing to take into account the optimal objectives of the reverse load rate voltage and network loss in low-voltage distribution station areas

a double-layer reinforcement learning based collaborative optimal control method is proposed for the weakly observable medium- and low-voltage distribution networks. Firstly

the key measurement nodes are selected to construct a physics guided two-stage neural network power flow estimation model

which realizes the accurate sensing of key states such as reverse load rate

node voltage and network loss in the distribution station area by embedding the physical priori knowledge. Secondly

a multi-modal adaptive control strategy for photovoltaic inverters is designed to meet various regulation demands of reverse load rate overload

voltage limit exceeding

and network loss increase in the low-voltage distribution station area. Then

the upper-layer on-load tap changer control and the lower-layer soft open point/photovoltaic inverter control are modeled as partially observable Markov game processes

respectively

and the multi-timescale collaborative optimization of devices is achieved through a cross-layer reward mechanism. The multi-agent actor-critic algorithm

which integrates attention mechanism

is used to efficiently extract information highly relevant to the own decision-making of agents. This reduces the input dimensionality of the critic network and accelerate convergence. Results show that the proposed method can accurately perceive the key state information in the medium- and low-voltage distribution networks

and realize the collaborative optimal control of the reverse load rate

node voltage and network loss in the medium- and low-voltage distribution networks with multiple types of regulation devices.

关键词

Keywords

references

栗峰，丁杰，周才期，等 . 新型电力系统下分布式光伏规模化并网运行关键技术探讨［J］. 电网技术， 2024 ， 48 （ 1 ）： 184 - 199 .

LI Feng ， DING Jie ， ZHOU Caiqi ， et al . Key technologies of large-scale grid-connected operation of distributed photovoltaic under new-type power system ［J］. Power System Technology ， 2024 ， 48 （ 1 ）： 184 - 199 .

NAVARRO-ESPINOSA A ， OCHOA L F . Probabilistic impact assessment of low carbon technologies in LV distribution systems ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 3 ）： 2192 - 2203 .

PROCOPIOU A T ， OCHOA L F . Asset congestion and voltage management in large-scale MV-LV networks with solar PV ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4018 - 4027 .

蔡永翔，唐巍，张博，等 . 适应高比例户用光伏的中低压配电网集中-分布式协调控制［J］. 中国电机工程学报， 2020 ， 40 （ 15 ）： 4843 - 4854 .

CAI Yongxiang ， TANG Wei ， ZHANG Bo ， et al . Centralized-distributed multi-objective coordinated control for MV and LV distribution networks adapting to high-proportion residential PV units ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 15 ）： 4843 - 4854 .

JIAO W S ， WU Q W ， CHEN J ， et al . Analytical target cascading based real-time distributed voltage control for MV and LV active distribution networks ［J］. International Journal of Electrical Power & Energy Systems ， 2024 ， 159 ： 110024 .

彭贺翔，廖凯，杨健维，等 . 适应拓扑变化的配电网多时间尺度电压调控方法［J/OL］. 电网技术： 1 - 12 ［ 2024-10-08 ］. https：//kns.cnki.net/kcms/detail/11.2410.TM.20240927.1137.005.html https://kns.cnki.net/kcms/detail/11.2410.TM.20240927.1137.005.html .

PENG Hexiang ， LIAO Kai ， YANG Jianwei ， et al . Multi-time scale voltage regulation method for distribution network adapting to topology change ［J/OL］. Power System Technology ： 1 - 12 ［ 2024-10-08 ］. https：//kns.cnki.net/kcms/detail/11.2410.TM.20240927.1137.005.html https://kns.cnki.net/kcms/detail/11.2410.TM.20240927.1137.005.html .

胡丹尔，彭勇刚，韦巍，等 . 多时间尺度的配电网深度强化学习无功优化策略［J］. 中国电机工程学报， 2022 ， 42 （ 14 ）： 5034 - 5045 .

HU Daner ， PENG Yonggang ， WEI Wei ， et al . Multi-timescale deep reinforcement learning for reactive power optimization of distribution network ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 14 ）： 5034 - 5045 .

黄冬梅，余京朋，崔承刚，等 . 多时间尺度深度强化学习光储配电网电压优化［J/OL］. 中国电机工程学报： 1 - 12 ［ 2025-06-04 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.240403 https://doi.org/10.13334/j.0258-8013.pcsee.240403 .

HUANG Dongmei ， YU Jingpeng ， CUI Chenggang ， et al . Voltage optimization for PV-ES distribution network with multi-timescale deep reinforcement learning method ［J］. Proceedings of the CSEE： 1 - 12 ［ 2025-06-04 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.240403 https://doi.org/10.13334/j.0258-8013.pcsee.240403 .

SU X J ， FANG L Y ， YANG J J ， et al . Spatial-temporal coordinated volt/VAR control for active distribution systems ［J］. IEEE Transactions on Power Systems ， 2024 ， 39 （ 6 ）： 7077 - 7088 .

周翔，王继业，陈盛，等 . 基于深度强化学习的微网优化运行综述［J］. 全球能源互联网， 2023 ， 6 （ 3 ）： 240 - 257 .

ZHOU Xiang ， WANG Jiye ， CHEN Sheng ， et al . Review of microgrid optimization operation based on deep reinforcement learning ［J］. Journal of Global Energy Interconnection ， 2023 ， 6 （ 3 ）： 240 - 257 .

CAO D ， ZHAO J B ， HU W H ， et al . Data-driven multi-agent deep reinforcement learning for distribution system decentralized voltage control with high penetration of PVs ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 5 ）： 4137 - 4150 .

朱振山，张新炳，陈豪 . 基于深度强化学习的含智能软开关配电网电压控制方法［J］. 高电压技术， 2024 ， 50 （ 3 ）： 1214 - 1224 .

ZHU Zhenshan ， ZHANG Xinbing ， CHEN Hao . Voltage control method of distribution network with soft open point based on deep reinforcement learning ［J］. High Voltage Engineering ， 2024 ， 50 （ 3 ）： 1214 - 1224 .

CHEN Y D ， LIU Y B ， YIN H ， et al . Multiagent soft actor-critic learning for distributed ESS enabled robust voltage regulation of active distribution grids ［J］. IEEE Transactions on Industrial Informatics ， 2024 ， 20 （ 9 ）： 11069 - 11080 .

张宇精，乔颖，鲁宗相，等 . 含高比例分布式电源接入的低感知度配电网电压控制方法［J］. 电网技术， 2019 ， 43 （ 5 ）： 1528 - 1535 .

ZHANG Yujing ， QIAO Ying ， LU Zongxiang ， et al . Voltage control for partially visible distribution networks with high DG penetration ［J］. Power System Technology ， 2019 ， 43 （ 5 ）： 1528 - 1535 .

王续卓，李正烁，邢家维，等 . 面向低感知度三相配电网的数据增强状态估计［J/OL］. 中国电机工程学报： 1 - 10 ［ 2024-10-10 ］. https：//kns.cnki.net/kcms/detail/11.2107.tm.20241009.1448.014.html https://kns.cnki.net/kcms/detail/11.2107.tm.20241009.1448.014.html .

WANG Xuzhuo ， LI Zhengshuo ， XING Jiawei ， et al . Data-enhanced state estimation for low perception three-phase matching power grid ［J/OL］. Proceedings of the CSEE ： 1 - 10 ［ 2024-10-10 ］. https：//kns.cnki.net/kcms/detail/11.2107.tm.20241009.1448.014.html https://kns.cnki.net/kcms/detail/11.2107.tm.20241009.1448.014.html .

王强强，姚良忠，盛万兴，等 . 基于机会约束规划的配电网分布式光伏承载力提升方法［J］. 电力系统自动化， 2023 ， 47 （ 18 ）： 132 - 141 .

WANG Qiangqiang ， YAO Liangzhong ， SHENG Wanxing ， et al . Enhancement method for distributed photovoltaic hosting capacity of distribution network based on chance-constrained programming ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 18 ）： 132 - 141 .

战鹏祥，黄飞虎，廖思睿，等 . 基于物理机理引导的数据驱动潮流计算方法［J］. 电网技术， 2024 ， 48 （ 12 ）： 5034 - 5045 .

ZHAN Pengxiang ， HUANG Feihu ， LIAO Sirui ， et al . Data-driven power flow calculation method guided by physical mechanism ［J］. Power System Technology ， 2024 ， 48 （ 12 ）： 5034 - 5045 .

IQBAL S ， SHA F . Actor-attention-critic for multi-agent reinforcement learning ［C］// International Conference on Machine Learning ， October 27-November 3 ， 2019 ， Seoul， South Korea ： 2961 - 2970 .

胡珺如，窦晓波，李晨，等 . 面向中低压配电网的分布式协同无功优化策略［J］. 电力系统自动化， 2021 ， 45 （ 22 ）： 47 - 54 .

HU Junru ， DOU Xiaobo ， LI Chen ， et al . Distributed cooperative reactive power optimization strategy for medium- and low-voltage distribution network ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 22 ）： 47 - 54 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于分布式灵活性资源一致性建模的调频方法

面向综合能源系统调度多场景泛化提升的扩散策略学习