基于融合经验安全强化学习的配电网电压控制

FENG Changsen; TANG Feixia; WANG Guofeng; WEN Fushuan; ZHANG Youbing

doi:10.7500/AEPS20240919003

您当前的位置：

首页 >

文章列表页 >

基于融合经验安全强化学习的配电网电压控制

Basic Research | 更新时间：2025-06-16

- 基于融合经验安全强化学习的配电网电压控制
- Automation of Electric Power Systems Vol. 49, Issue 8, Pages: 169-177(2025)
- 作者机构：
  
  1.浙江工业大学信息工程学院，浙江省杭州市 310023
  2.浙江大学电气工程学院，浙江省杭州市 310007
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52107129;U22B20116);Zhejiang Provincial Natural Science Foundation of China(LQ22E070007)
- DOI：10.7500/AEPS20240919003
  CLC：
- Received：19 September 2024，
  
  Revised：2024-11-19，
  
  Published Online：08 February 2025，
  
  Published：25 April 2025
- 稿件说明：
移动端阅览
冯昌森,汤飞霞,王国烽等.基于融合经验安全强化学习的配电网电压控制[J].电力系统自动化,2025,49(8):169-177.

FENG Changsen,TANG Feixia,WANG Guofeng,et al.Volt-VAR Control for Distribution Network Based on Safe Reinforcement Learning with Mixed Experiences[J].Automation of Electric Power Systems,2025,49(8):169-177.
冯昌森,汤飞霞,王国烽等.基于融合经验安全强化学习的配电网电压控制[J].电力系统自动化,2025,49(8):169-177. DOI： 10.7500/AEPS20240919003.

FENG Changsen,TANG Feixia,WANG Guofeng,et al.Volt-VAR Control for Distribution Network Based on Safe Reinforcement Learning with Mixed Experiences[J].Automation of Electric Power Systems,2025,49(8):169-177. DOI： 10.7500/AEPS20240919003.

摘要

随着分布式可再生能源在配电网中的渗透率逐渐提高，分布式并网逆变器参与电压-无功控制对提升电力系统运行的安全性和经济性具有重要意义。然而，在基于强化学习的电压-无功控制模型中，安全运行约束难以建模，且无法确保控制策略满足运行约束。针对上述问题，文中提出一种基于安全强化学习的配电网电压控制策略。首先，将带约束的电压控制问题建模为约束马尔可夫决策过程。然后，采用原始-对偶方法学习最优策略，确保控制策略满足系统运行约束。随后，引入增强经验融合方法来改进强化学习经验利用方式，从而提高算法样本效率。最后，通过配电系统算例验证了所提方法的有效性。

Abstract

With the increasing penetration of distributed renewable energy sources in the distribution network

the participation of distributed grid-connected inverters in volt-VAR control (VVC) is of great significance to improve the safety and economy of power system operation. However

the safety operation constraints are difficult to model in the VVC control model based on reinforcement learning

and it is not possible to ensure that the control strategy satisfies the operation constraints. To address the above problems

this paper proposes a VVC strategy for distribution networks based on the safe reinforcement learning. Firstly

the voltage control problem with constraints is modeled as a constrained Markov decision process. Then

a primal-dual approach is used to learn the optimal policy to ensure that the control policy satisfies the system operation constraints. Furthermore

an enhanced experience fusion method is introduced to improve the utilization of reinforcement learning experience

so as to improve the sample efficiency of the algorithm. Finally

the effectiveness of the proposed method is verified by the distribution system case.

关键词

Keywords

references

卓振宇，张宁，康重庆，等 . 面向双碳目标的电力系统规划方案量化归因分析方法［J］. 电力系统自动化， 2023 ， 47 （ 2 ）： 1 - 14 .

ZHUO Zhenyu ， ZHANG Ning ， KANG Chongqing ， et al . Quantitative attribution analysis method of power system planning scheme for carbon emission peak and carbon neutrality goals ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 2 ）： 1 - 14 .

路帅超，孙英云，赵鹏飞，等 . 新型电力系统多阶段输-储协同分布鲁棒规划［J］. 电力系统自动化， 2024 ， 48 （ 15 ）： 15 - 24 .

LU Shuaichao ， SUN Yingyun ， ZHAO Pengfei ， et al . Multi-stage transmission-storage cooperative distributionally robust planning for new power system ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 15 ）： 15 - 24 .

Measuring， and verifying volt-VAR control and optimization on distribution systems： IEEE 1885—2022 ［S］. 2022 .

SINGH S ， BABU PAMSHETTI V ， THAKUR A K ， et al . Multistage multiobjective volt/var control for smart grid-enabled CVR with solar PV penetration ［J］. IEEE Systems Journal ， 2021 ， 15 （ 2 ）： 2767 - 2778 .

NIU T ， LIU H T ， GUO Q L ， et al . Wind farm side optimal power flow based on DistFlow and SOCP： model and case study ［C］// 2014 IEEE PES Asia-Pacific Power and Energy Engineering Conference （APPEEC）， December 7-10 ， 2014 ， Hong Kong， China .

ZHU H ， LIU H J . Fast local voltage control under limited reactive power： optimality and stability analysis ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 5 ）： 3794 - 3803 .

XU T ， WU W C . Accelerated ADMM-based fully distributed inverter-based volt/var control strategy for active distribution networks ［J］. IEEE Transactions on Industrial Informatics ， 2020 ， 16 （ 12 ）： 7532 - 7543 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

ZENG S Q ， HUANG C Y ， WANG F ， et al . Trust region policy optimization-based secondary frequency regulation for isolated microgrid with voltage constraint ［C］// 12th International Conference on Renewable Power Generation （RPG 2023 ）， October 14-15 ， 2023 ， Shanghai， China .

张沛，朱驻军，谢桦 . 基于深度强化学习近端策略优化的电网无功优化方法［J］. 电网技术， 2023 ， 47 （ 2 ）： 562 - 570 .

ZHANG Pei ， ZHU Zhujun ， XIE Hua . Reactive power optimization based on proximal policy optimization of deep reinforcement learning ［J］. Power System Technology ， 2023 ， 47 （ 2 ）： 562 - 570 .

胡丹尔，彭勇刚，韦巍，等 . 多时间尺度的配电网深度强化学习无功优化策略［J］. 中国电机工程学报， 2022 ， 42 （ 14 ）： 5034 - 5044 .

HU Daner ， PENG Yonggang ， WEI Wei ， et al . Multi-timescale deep reinforcement learning for reactive power optimization of distribution network ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 14 ）： 5034 - 5044 .

CHEN P C ， LIU S C ， WANG X Z ， et al . Physics-shielded multi-agent deep reinforcement learning for safe active voltage control with photovoltaic/battery energy storage systems ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 4 ）： 2656 - 2667 .

刘林鹏，朱建全，陈嘉俊，等 . 基于柔性策略-评价网络的微电网源储协同优化调度策略［J］. 电力自动化设备， 2022 ， 42 （ 1 ）： 79 - 85 .

LIU Linpeng ， ZHU Jianquan ， CHEN Jiajun ， et al . Cooperative optimal scheduling strategy of source and storage in microgrid based on soft actor-critic ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 1 ）： 79 - 85 .

LIU H Y ， ZHANG C ， CHAI Q M ， et al . Robust regional coordination of inverter-based volt-VAR control via multi-agent deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 6 ）： 5420 - 5433 .

NGUYEN H T ， CHOI D H . Three-stage inverter-based peak shaving and volt-VAR control in active distribution networks using online safe deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 4 ）： 3266 - 3277 .

LI H P ， HE H B . Learning to operate distribution networks with safe deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 3 ）： 1860 - 1872 .

SESHAGIRI S ， PREMA K V . An empirical study of on-policy and off-policy actor-critic algorithms in the context of exploration-exploitation dilemma ［C］// 2023 International Conference on Emerging Techniques in Computational Intelligence （ICETCI）， September 21-23 ， 2023 ， Hyderabad， India .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

顾雪平，刘彤，李少岩，等 . 基于改进双延迟深度确定性策略梯度算法的电网有功安全校正控制［J］. 电工技术学报， 2023 ， 38 （ 8 ）： 2162 - 2177 .

GU Xueping ， LIU Tong ， LI Shaoyan ， et al . Active power correction control of power grid based on improved twin delayed deep deterministic policy gradient algorithm ［J］. Transactions of China Electrotechnical Society ， 2023 ， 38 （ 8 ）： 2162 - 2177 .

BANERJEE C ， CHEN Z ， NOMAN N . Improved soft actor-critic： mixing prioritized off-policy samples with on-policy experiences ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2024 ， 35 （ 3 ）： 3121 - 3129 .

郭鸿业，郑可迪，唐庆虎，等 . 数据驱动的电力市场研究：挑战与展望［J］. 电力系统自动化， 2023 ， 47 （ 1 ）： 200 - 215 .

GUO Hongye ， ZHENG Kedi ， TANG Qinghu ， et al . Data-driven research on electricity markets： challenges and prospects ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 1 ）： 200 - 215 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Fault Recovery Decision of Distribution Network Based on Graph Reinforcement Learning

Related Author

ZHANG Pei

CHEN Yuxin

WANG Guanghua

LI Xiaoying

ZHENG Ran

LIU Baozhu

HU Junjie

XIE Dongliang

Related Institution

School of Electrical Engineering, Beijing Jiaotong University

Baoding Power Supply Branch of State Grid Hebei Electric Power Co., Ltd.

State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources (North China Electric Power University)

State Grid Electric Power Research Institute (NARI Group Corporation)

College of Electrical Engineering, Zhejiang University

⁰