Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System

Changsen FENG; Yu ZHANG; Luyao XIE; Fushuan WEN; Kaiyi ZHANG; Youbing ZHANG

doi:10.7500/AEPS20211220001

您当前的位置：

首页 >

文章列表页 >

Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System

Basic Research | 更新时间：2025-06-16

- Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System
- Automation of Electric Power Systems Vol. 46, Issue 12, Pages: 202-209(2022)
- 作者机构：
  
  1.浙江工业大学信息工程学院，浙江省杭州市 310023
  2.浙江大学电气工程学院，浙江省杭州市 310027
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52107129)
- DOI：10.7500/AEPS20211220001
  CLC：
- Received：20 December 2021，
  
  Revised：2022-01-28，
  
  Published Online：14 April 2022，
  
  Published：25 June 2022
- 稿件说明：
移动端阅览
冯昌森,张瑜,谢路耀等.配电系统双时间尺度电压管理的深度强化学习方法[J].电力系统自动化,2022,46(12):202-209.

FENG Changsen,ZHANG Yu,XIE Luyao,et al.Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System[J].Automation of Electric Power Systems,2022,46(12):202-209.
冯昌森,张瑜,谢路耀等.配电系统双时间尺度电压管理的深度强化学习方法[J].电力系统自动化,2022,46(12):202-209. DOI： 10.7500/AEPS20211220001.

FENG Changsen,ZHANG Yu,XIE Luyao,et al.Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System[J].Automation of Electric Power Systems,2022,46(12):202-209. DOI： 10.7500/AEPS20211220001.

摘要

随着可再生能源发电渗透率的不断增大，配电系统的电压越限问题愈发频繁，亟需高效的电压管理策略以保证配电系统的安全经济运行。首先，文中建立了双时间尺度的配电系统电压管理模型，实现不同时间响应特性的调压设备协调控制。然后，将2个时间尺度的电压管理模型建模为马尔可夫决策过程，在有效考虑两者的时间耦合关系和可控设备物理特性的基础上，分别利用多智能体深度确定性策略梯度算法和双深度Q网络算法求解模型

实现了双时间尺度的实时电压管理。最后，基于IEEE 33节点配电系统进行算例分析，验证了所提模型和方法的有效性。

Abstract

With the increasing penetration rate of renewable energy generation

the problem of voltage violation in the distribution system becomes more frequent

and efficient voltage management strategies are urgently needed to ensure the secure and economic operation of the distribution system. First

this paper establishes a dual-timescale voltage management model for the distribution system to realize the coordinated control of voltage regulators with different time response characteristics. Then

the voltage management models of the two time scales are modeled as Markov decision process (MDP). Effectively considering the temporal coupling relationship between the two time scales and the physical characteristics of controllable devices

the dual-timescale real-time voltage management is realized by using the multi-agent deep deterministic policy gradient algorithm and the double deep Q network algorithm to solve the model

respectively. Finally

the effectiveness of the proposed model and method is demonstrated by case studies on the IEEE 33-bus standard distribution system.

关键词

Keywords

references

卓振宇，张宁，谢小荣，等 . 高比例可再生能源电力系统关键技术及发展挑战［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 171 - 191 .

ZHUO Zhenyu ， ZHANG Ning ， XIE Xiaorong ， et al . Key technologies and developing challenges of power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 171 - 191 .

杨美辉，周念成，王强钢，等 . 基于分布式协同的双极直流微电网不平衡电压控制策略［J］. 电工技术学报， 2021 ， 36 （ 3 ）： 634 - 645 .

YANG Meihui ， ZHOU Niancheng ， WANG Qianggang ， et al . Unbalanced voltage control strategy of bipolar DC microgrid based on distributed cooperation ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 3 ）： 634 - 645 .

Interconnection and interoperability of distributed energy resources with associated electric power systems interfaces： IEEE Standard 1547—2018 ［S］. 2018 .

FENG C S ， LI Z Y ， MOHAMMAD S ， et al . Decentralized short-term voltage control in active power distribution systems ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4566 - 4576 .

张宏，董海鹰，陈钊，等 . 基于模型预测控制的光热-光伏系统多时间尺度无功优化控制策略研究［J］. 电力系统保护与控制， 2020 ， 48 （ 9 ）： 135 - 142 .

ZHANG Hong ， DONG Haiying ， CHEN Zhao ， et al . Multi-time scale reactive power optimal control strategy of a CSP-PV system based on model predictive control ［J］. Power System Protection and Control ， 2020 ， 48 （ 9 ）： 135 - 142 .

ZHU H ， LIU H J . Fast local voltage control under limited reactive power： optimality and stability analysis ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 5 ）： 3794 - 3803 .

LI J Y ， XU Z ， ZHAO J ， et al . Distributed online voltage control in active distribution networks considering PV curtailment ［J］. IEEE Transactions on Industrial Informatics ， 2019 ， 15 （ 10 ）： 5519 - 5530 .

GUO Y F ， GAO H L ， WANG Z Y . Distributed online voltage control for wind farms using generalized fast dual ascent ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 6 ）： 4505 - 4517 .

SINDRI M ， QU G N ， LI N . Distributed optimal voltage control with asynchronous and delayed communication ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3469 - 3482 .

DING T ， YANG Q R ， YANG Y H ， et al . A data-driven stochastic reactive power optimization considering uncertainties in active distribution networks and decomposition method ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4994 - 5004 .

褚国伟，张友旺，葛乐，等 . 自储能柔性互联配电网多时间尺度电压优化［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 71 - 79 .

CHU Guowei ， ZHANG Youwang ， GE Le ， et al . Multi-time-scale voltage optimization of flexible interconnected distribution network with self-energy storage ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 71 - 79 .

GUO Y F ， WU Q W ， GAO H L ， et al . Double-time-scale coordinated voltage control in active distribution networks based on MPC ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 1 ）： 294 - 303 .

姜涛，张东辉，李雪，等 . 含分布式光伏的主动配电网电压分布式优化控制［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 102 - 109 .

JIANG Tao ， ZHANG Donghui ， LI Xue ， et al . Distributed optimal control of voltage in active distribution network with distributed photovoltaic ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 102 - 109 .

陈瑞捷，鲁宗相，乔颖 . 基于多场景模糊集和改进二阶锥方法的配电网优化调度［J］. 电网技术， 2021 ， 45 （ 12 ）： 4621 - 4629 .

CHEN Ruijie ， LU Zongxiang ， QIAO Ying . Optimal dispatch based on multi-scene ambiguity set and modified second-order cone algorithm for distribution network ［J］. Power System Technology ， 2021 ， 45 （ 12 ）： 4621 - 4629 .

张亚超，黄张浩，郑峰，等 . 基于风电出力模糊集的电-气耦合系统分布鲁棒优化调度［J］. 电力系统自动化， 2020 ， 44 （ 4 ）： 44 - 53 .

ZHANG Yachao ， HUANG Zhanghao ， ZHENG Feng ， et al . Distributionally robust optimal dispatch for power-gas coupled system based on fuzzy set of wind power output ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 4 ）： 44 - 53 .

YANG Q L ， WANG G ， ALIREZA S ， et al . Two-timescale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 11 （ 3 ）： 2313 - 2323 .

彭琰，余一平，鞠平，等 . 计及不确定性的电力系统电压波动分析方法［J］. 电力自动化设备， 2017 ， 37 （ 8 ）： 137 - 142 .

PENG Yan ， YU Yiping ， JU Ping ， et al . Voltage fluctuation analysis method considering uncertainties of power system ［J］. Electric Power Automation Equipment ， 2017 ， 37 （ 8 ）： 137 - 142 .

张亚超，易杨，胡志鹏，等 . 基于分布鲁棒优化的电-气综合能源系统弹性提升策略［J］. 电力系统自动化， 2021 ， 45 （ 13 ）： 76 - 84 .

ZHANG Yachao ， YI Yang ， HU Zhipeng ， et al . Resilience enhancement strategy of electricity-gas integrated energy system based on distributionally robust optimization ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 13 ）： 76 - 84 .

刘玉奇，臧传治，王悦，等 . 基于随机经济模型预测控制的电热综合能源系统运行优化［J］. 电力自动化设备， 2021 ， 41 （ 7 ）： 14 - 21 .

LIU Yuqi ， ZANG Chuanzhi ， WANG Yue ， et al . Optimal operation of electricity-heating integrated energy system based on stochastic economic model predictive control ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 7 ）： 14 - 21 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

王甜婧，汤涌，郭强，等 . 基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法［J］. 中国电机工程学报， 2020 ， 40 （ 8 ）： 2396 - 2406 .

WANG Tianjing ， TANG Yong ， GUO Qiang ， et al . Automatic adjustment method of power flow calculation convergence for large-scale power grid based on knowledge experience and deep reinforcement learning ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 8 ）： 2396 - 2406 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

WANG B ， LI Y ， MING W Y ， et al . Deep reinforcement learning method for demand response management of interruptible load ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3146 - 3155 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

CAO D ， HU W H ， ZHAO J B ． A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters ［J］． IEEE Transactions on Power Systems ， 2020 ， 35 （ 5 ）： 4120 - 4123 ．

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Coordinated Charging Strategy Applicable to Large-scale Charging Stations Based on Deep Reinforcement Learning

Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning

Related Author

Changsen FENG

Yu ZHANG

Luyao XIE

Fushuan WEN

Kaiyi ZHANG

Youbing ZHANG

HUANG Yu

ZHANG Xiaoxiao

Related Institution

College of Information Engineering, Zhejiang University of Technology, Hangzhou 3110023

School of Electrical Engineering, Zhejiang University

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electric Power Engineering, South China University of Technology

⁰