配电系统双时间尺度电压管理的深度强化学习方法

冯昌森; 张瑜; 谢路耀; 文福拴; 张凯怡; 张有兵

doi:10.7500/AEPS20211220001

您当前的位置：

首页 >

文章列表页 >

配电系统双时间尺度电压管理的深度强化学习方法

学术研究 | 更新时间：2025-06-16

- 配电系统双时间尺度电压管理的深度强化学习方法
- Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System
- 电力系统自动化 2022年46卷第12期页码：202-209
- 作者机构：
  
  1.浙江工业大学信息工程学院，浙江省杭州市 310023
  2.浙江大学电气工程学院，浙江省杭州市 310027
- 作者简介：
  
  冯昌森(1990—)，男，博士，讲师，硕士生导师，主要研究方向：电力系统优化控制、电力市场、机器学习。E-mail：fcs@zjut.edu.cn
  张瑜(1996—)，女，硕士研究生，主要研究方向：电力系统优化控制、机器学习。E-mail：1304150284@qq.com
  谢路耀(1984—)，男，博士，讲师，主要研究方向：新能源发电技术、储能技术、交直流微电网技术、电能质量治理技术、大功率中压多电平变流技术。E-mail：xieluyao@zjut.edu.cn
  张有兵(1971—)，男，通信作者，教授，博士生导师,主要研究方向：智能电网、分布式发电及新能源优化控制、电动汽车入网、电力系统通信、电能质量监控。E-mail：youbingzhang@zjut.edu.cn
- 基金信息：
  
  国家自然科学基金资助项目(52107129)
- DOI：10.7500/AEPS20211220001
  中图分类号：
- 收稿日期：2021-12-20，
  
  修回日期：2022-01-28，
  
  网络出版日期：2022-04-14，
  
  纸质出版日期：2022-06-25
- 稿件说明：
移动端阅览
冯昌森,张瑜,谢路耀等.配电系统双时间尺度电压管理的深度强化学习方法[J].电力系统自动化,2022,46(12):202-209.

FENG Changsen,ZHANG Yu,XIE Luyao,et al.Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System[J].Automation of Electric Power Systems,2022,46(12):202-209.
冯昌森,张瑜,谢路耀等.配电系统双时间尺度电压管理的深度强化学习方法[J].电力系统自动化,2022,46(12):202-209. DOI： 10.7500/AEPS20211220001.

FENG Changsen,ZHANG Yu,XIE Luyao,et al.Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System[J].Automation of Electric Power Systems,2022,46(12):202-209. DOI： 10.7500/AEPS20211220001.

摘要

随着可再生能源发电渗透率的不断增大，配电系统的电压越限问题愈发频繁，亟需高效的电压管理策略以保证配电系统的安全经济运行。首先，文中建立了双时间尺度的配电系统电压管理模型，实现不同时间响应特性的调压设备协调控制。然后，将2个时间尺度的电压管理模型建模为马尔可夫决策过程，在有效考虑两者的时间耦合关系和可控设备物理特性的基础上，分别利用多智能体深度确定性策略梯度算法和双深度Q网络算法求解模型

实现了双时间尺度的实时电压管理。最后，基于IEEE 33节点配电系统进行算例分析，验证了所提模型和方法的有效性。

Abstract

With the increasing penetration rate of renewable energy generation

the problem of voltage violation in the distribution system becomes more frequent

and efficient voltage management strategies are urgently needed to ensure the secure and economic operation of the distribution system. First

this paper establishes a dual-timescale voltage management model for the distribution system to realize the coordinated control of voltage regulators with different time response characteristics. Then

the voltage management models of the two time scales are modeled as Markov decision process (MDP). Effectively considering the temporal coupling relationship between the two time scales and the physical characteristics of controllable devices

the dual-timescale real-time voltage management is realized by using the multi-agent deep deterministic policy gradient algorithm and the double deep Q network algorithm to solve the model

respectively. Finally

the effectiveness of the proposed model and method is demonstrated by case studies on the IEEE 33-bus standard distribution system.

关键词

Keywords

references

卓振宇，张宁，谢小荣，等 . 高比例可再生能源电力系统关键技术及发展挑战［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 171 - 191 .

ZHUO Zhenyu ， ZHANG Ning ， XIE Xiaorong ， et al . Key technologies and developing challenges of power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 171 - 191 .

杨美辉，周念成，王强钢，等 . 基于分布式协同的双极直流微电网不平衡电压控制策略［J］. 电工技术学报， 2021 ， 36 （ 3 ）： 634 - 645 .

YANG Meihui ， ZHOU Niancheng ， WANG Qianggang ， et al . Unbalanced voltage control strategy of bipolar DC microgrid based on distributed cooperation ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 3 ）： 634 - 645 .

Interconnection and interoperability of distributed energy resources with associated electric power systems interfaces： IEEE Standard 1547—2018 ［S］. 2018 .

FENG C S ， LI Z Y ， MOHAMMAD S ， et al . Decentralized short-term voltage control in active power distribution systems ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4566 - 4576 .

张宏，董海鹰，陈钊，等 . 基于模型预测控制的光热-光伏系统多时间尺度无功优化控制策略研究［J］. 电力系统保护与控制， 2020 ， 48 （ 9 ）： 135 - 142 .

ZHANG Hong ， DONG Haiying ， CHEN Zhao ， et al . Multi-time scale reactive power optimal control strategy of a CSP-PV system based on model predictive control ［J］. Power System Protection and Control ， 2020 ， 48 （ 9 ）： 135 - 142 .

ZHU H ， LIU H J . Fast local voltage control under limited reactive power： optimality and stability analysis ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 5 ）： 3794 - 3803 .

LI J Y ， XU Z ， ZHAO J ， et al . Distributed online voltage control in active distribution networks considering PV curtailment ［J］. IEEE Transactions on Industrial Informatics ， 2019 ， 15 （ 10 ）： 5519 - 5530 .

GUO Y F ， GAO H L ， WANG Z Y . Distributed online voltage control for wind farms using generalized fast dual ascent ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 6 ）： 4505 - 4517 .

SINDRI M ， QU G N ， LI N . Distributed optimal voltage control with asynchronous and delayed communication ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3469 - 3482 .

DING T ， YANG Q R ， YANG Y H ， et al . A data-driven stochastic reactive power optimization considering uncertainties in active distribution networks and decomposition method ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4994 - 5004 .

褚国伟，张友旺，葛乐，等 . 自储能柔性互联配电网多时间尺度电压优化［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 71 - 79 .

CHU Guowei ， ZHANG Youwang ， GE Le ， et al . Multi-time-scale voltage optimization of flexible interconnected distribution network with self-energy storage ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 71 - 79 .

GUO Y F ， WU Q W ， GAO H L ， et al . Double-time-scale coordinated voltage control in active distribution networks based on MPC ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 1 ）： 294 - 303 .

姜涛，张东辉，李雪，等 . 含分布式光伏的主动配电网电压分布式优化控制［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 102 - 109 .

JIANG Tao ， ZHANG Donghui ， LI Xue ， et al . Distributed optimal control of voltage in active distribution network with distributed photovoltaic ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 102 - 109 .

陈瑞捷，鲁宗相，乔颖 . 基于多场景模糊集和改进二阶锥方法的配电网优化调度［J］. 电网技术， 2021 ， 45 （ 12 ）： 4621 - 4629 .

CHEN Ruijie ， LU Zongxiang ， QIAO Ying . Optimal dispatch based on multi-scene ambiguity set and modified second-order cone algorithm for distribution network ［J］. Power System Technology ， 2021 ， 45 （ 12 ）： 4621 - 4629 .

张亚超，黄张浩，郑峰，等 . 基于风电出力模糊集的电-气耦合系统分布鲁棒优化调度［J］. 电力系统自动化， 2020 ， 44 （ 4 ）： 44 - 53 .

ZHANG Yachao ， HUANG Zhanghao ， ZHENG Feng ， et al . Distributionally robust optimal dispatch for power-gas coupled system based on fuzzy set of wind power output ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 4 ）： 44 - 53 .

YANG Q L ， WANG G ， ALIREZA S ， et al . Two-timescale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 11 （ 3 ）： 2313 - 2323 .

彭琰，余一平，鞠平，等 . 计及不确定性的电力系统电压波动分析方法［J］. 电力自动化设备， 2017 ， 37 （ 8 ）： 137 - 142 .

PENG Yan ， YU Yiping ， JU Ping ， et al . Voltage fluctuation analysis method considering uncertainties of power system ［J］. Electric Power Automation Equipment ， 2017 ， 37 （ 8 ）： 137 - 142 .

张亚超，易杨，胡志鹏，等 . 基于分布鲁棒优化的电-气综合能源系统弹性提升策略［J］. 电力系统自动化， 2021 ， 45 （ 13 ）： 76 - 84 .

ZHANG Yachao ， YI Yang ， HU Zhipeng ， et al . Resilience enhancement strategy of electricity-gas integrated energy system based on distributionally robust optimization ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 13 ）： 76 - 84 .

刘玉奇，臧传治，王悦，等 . 基于随机经济模型预测控制的电热综合能源系统运行优化［J］. 电力自动化设备， 2021 ， 41 （ 7 ）： 14 - 21 .

LIU Yuqi ， ZANG Chuanzhi ， WANG Yue ， et al . Optimal operation of electricity-heating integrated energy system based on stochastic economic model predictive control ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 7 ）： 14 - 21 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

王甜婧，汤涌，郭强，等 . 基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法［J］. 中国电机工程学报， 2020 ， 40 （ 8 ）： 2396 - 2406 .

WANG Tianjing ， TANG Yong ， GUO Qiang ， et al . Automatic adjustment method of power flow calculation convergence for large-scale power grid based on knowledge experience and deep reinforcement learning ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 8 ）： 2396 - 2406 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

WANG B ， LI Y ， MING W Y ， et al . Deep reinforcement learning method for demand response management of interruptible load ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3146 - 3155 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

CAO D ， HU W H ， ZHAO J B ． A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters ［J］． IEEE Transactions on Power Systems ， 2020 ， 35 （ 5 ）： 4120 - 4123 ．

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于专家知识嵌入强化学习的配电系统灾后恢复决策方法

适用于大规模充电场站的深度强化学习有序充电策略

基于深度强化学习的家庭能量管理分层优化策略