Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network

HU Weihao; CAO Di; HUANG Qi; ZHANG Bin; LI Sichen; CHEN Zhe

doi:10.7500/AEPS20220330003

您当前的位置：

首页 >

文章列表页 >

Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network

Review | 更新时间：2025-06-16

- Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network
- Automation of Electric Power Systems Vol. 47, Issue 14, Pages: 174-191(2023)
- 作者机构：
  
  1.电子科技大学机械与电气工程学院，四川省成都市 611731
  2.西南科技大学信息工程学院，四川省绵阳市 621010
  3.奥尔堡大学能源技术学院，奥尔堡 9100，丹麦
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52277083)
- DOI：10.7500/AEPS20220330003
  CLC：
- Received：30 March 2022，
  
  Revised：2023-03-06，
  
  Published Online：21 June 2023，
  
  Published：25 July 2023
- 稿件说明：
移动端阅览
胡维昊,曹迪,黄琦等.深度强化学习在配电网优化运行中的应用[J].电力系统自动化,2023,47(14):174-191.

HU Weihao,CAO Di,HUANG Qi,et al.Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network[J].Automation of Electric Power Systems,2023,47(14):174-191.
胡维昊,曹迪,黄琦等.深度强化学习在配电网优化运行中的应用[J].电力系统自动化,2023,47(14):174-191. DOI： 10.7500/AEPS20220330003.

HU Weihao,CAO Di,HUANG Qi,et al.Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network[J].Automation of Electric Power Systems,2023,47(14):174-191. DOI： 10.7500/AEPS20220330003.

摘要

深度强化学习结合了深度学习的感知能力和强化学习的决策能力，在多个复杂场景中取得了优异的控制效果，并被应用于配电网的优化和控制问题中。文中首先分析了传统配电网优化方法的优势和不足，然后对深度强化学习算法进行概述，并根据应用问题背景的不同，从含有储能装置的调度控制、动态重构、恢复力研究以及无功优化与电压控制等多个方面开展文献综述，详细分析了其在配电网不同应用中的优势和不足。然后，以工程实际中的两个深度强化学习的应用案例来进一步阐述其在指导电力行业生产实践方面的应用潜力以及面临的问题。最后，对深度强化学习在配电网中应用所面临的挑战和前景进行分析和展望。

Abstract

Deep reinforcement learning combines the perception ability of deep learning with the decision-making ability of reinforcement learning. It has achieved excellent control effects in multiple complex scenarios and has been applied to the optimization and control of distribution networks. This paper first analyzes the advantages and disadvantages of traditional optimization methods for the distribution network

and then summarizes the deep reinforcement learning algorithm. According to different application problem backgrounds

a literature review is carried out from the aspects of dispatching and control of energy storage devices

dynamic reconfiguration

restoration ability research

reactive power optimization

and voltage control. And the advantages and disadvantages of the deep reinforcement learning algorithm in different applications of the distribution network are analyzed in detail. After that

two application cases of deep reinforcement learning in engineering practice are used to further elaborate the application potential and disadvantages of deep reinforcement learning in guiding the production practice of the electric power industry. Finally

the challenges and prospects of the application of deep reinforcement learning in the distribution network are analyzed.

关键词

Keywords

references

齐宁，程林，田立亭，等 . 考虑柔性负荷接入的配电网规划研究综述与展望［J］. 电力系统自动化， 2020 ， 44 （ 10 ）： 193 - 207 .

QI Ning ， CHENG Lin ， TIAN Liting ， et al . Review and prospect of distribution network planning research considering access of flexible load ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 10 ）： 193 - 207 .

刘一兵，吴文传，张伯明，等 . 基于有功-无功协调优化的主动配电网过电压预防控制方法［J］. 电力系统自动化， 2014 ， 38 （ 9 ）： 184 - 191 .

LIU Yibing ， WU Wenchuan ， ZHANG Boming ， et al . Overvoltage preventive control method based on active and reactive power coordinated optimization in active distribution network ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 9 ）： 184 - 191 .

程林，万宇翔，齐宁，等 . 含多种分布式资源的配用电系统运行可靠性研究评述及展望［J］. 电力系统自动化， 2021 ， 45 （ 22 ）： 191 - 207 .

CHENG Lin ， WAN Yuxiang ， QI Ning ， et al . Review and prospect of research on operation reliability of power distribution and consumption system considering various distributed energy resources ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 22 ）： 191 - 207 .

吴文传，张伯明，孙宏斌，等 . 主动配电网能量管理与分布式资源集群控制［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 111 - 118 .

WU Wenchuan ， ZHANG Boming ， SUN Hongbin ， et al . Energy management and distributed energy resources cluster control for active distribution networks ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 111 - 118 .

王成山，李鹏，于浩 . 智能配电网的新形态及其灵活性特征分析与应用［J］. 电力系统自动化， 2018 ， 42 （ 10 ）： 13 - 21 .

WANG Chengshan ， LI Peng ， YU Hao . Development and characteristic analysis of flexibility in smart distribution network ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 10 ）： 13 - 21 .

HINTON G E ， OSINDERO S ， TEH Y W . A fast learning algorithm for deep belief nets ［J］. Neural Computation ， 2006 ， 18 （ 7 ）： 1527 - 1554 .

CAO D ， ZHAO J B ， HU W H ， et al . Robust deep Gaussian process-based probabilistic electrical load forecasting against anomalous events ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 2 ）： 1142 - 1153 .

马永硕，齐林海，肖湘宁，等 . 基于改进生成对抗网络的谐波状态估计方法［J］. 电力系统自动化， 2022 ， 46 （ 1 ）： 139 - 145 .

MA Yongshuo ， QI Linhai ， XIAO Xiangning ， et al . Estimation method of harmonic state based on improved generative adversarial network ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 1 ）： 139 - 145 .

CHEN J J ， HU W H ， CAO D ， et al . Novel data-driven approach based on capsule network for intelligent multi-fault detection in electric motors ［J］. IEEE Transactions on Energy Conversion ， 2021 ， 36 （ 3 ）： 2173 - 2184 .

KOBER J ， BAGNELL J A ， PETERS J . Reinforcement learning in robotics： a survey ［J］. International Journal of Robotics Research ， 2013 ， 32 （ 11 ）： 1238 - 1274 .

高阳，周如益，王皓，等 . 平均奖赏强化学习算法研究［J］. 计算机学报， 2007 ， 30 （ 8 ）： 1372 - 1378 .

GAO Yang ， ZHOU Ruyi ， WANG Hao ， et al . Study on an average reward reinforcement learning algorithm ［J］. Chinese Journal of Computers ， 2007 ， 30 （ 8 ）： 1372 - 1378 .

LI S C ， HU W H ， CAO D ， et al . A multiagent deep reinforcement learning based approach for the optimization of transformer life using coordinated electric vehicles ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 11 ）： 7639 - 7652 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

GAO Yuanqi ， SHI Jie ， WANG Wei ， et al . Dynamic distribution network reconfiguration using reinforcement learning ［C］// 2019 IEEE International Conference on Communications， Control， and Computing Technologies for Smart Grids （SmartGridComm）， October 21-23 ， 2019 ， Beijing， China ： 1 - 7 .

黄玉雄，李更丰，张理寅，等 . 弹性配电系统动态负荷恢复的深度强化学习方法［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 68 - 78 .

HUANG Yuxiong ， LI Gengfeng ， ZHANG Liyin ， et al . Deep reinforcement learning method for dynamic load restoration of resilient distribution systems ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 68 - 78 .

曹迪 . 主动配电网电压控制策略研究［D］. 成都：电子科技大学， 2021 .

CAO Di . Research on voltage control strategy of active distribution network ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2021 .

CAO D ， HU W H ， ZHAO J B ， et al . Reinforcement learning and its applications in modern power and energy systems： a review ［J］. Journal of Modern Power Systems and Clean Energy ， 2020 ， 8 （ 6 ）： 1029 - 1042 .

董雷，田爱忠，于汀，等 . 基于混合整数半定规划的含分布式电源配电网无功优化［J］. 电力系统自动化， 2015 ， 39 （ 21 ）： 66 - 72 .

DONG Lei ， TIAN Aizhong ， YU Ting ， et al . Reactive power optimization for distribution network with distributed generators based on mixed integer semi-definite programming ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 21 ）： 66 - 72 .

徐潇源，王晗，严正，等 . 能源转型背景下电力系统不确定性及应对方法综述［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 2 - 13 .

XU Xiaoyuan ， WANG Han ， YAN Zheng ， et al . Overview of power system uncertainty and its solutions under energy transition ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 2 - 13 .

刘洪，徐正阳，葛少云，等 . 考虑储能调节的主动配电网有功-无功协调运行与电压控制［J］. 电力系统自动化， 2019 ， 43 （ 11 ）： 51 - 58 .

LIU Hong ， XU Zhengyang ， GE Shaoyun ， et al . Coordinated operation of active-reactive power and voltage control for active distribution network considering regulation of energy storage ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 11 ）： 51 - 58 .

王守相，李琦，赵倩宇，等 . 计及源荷随机性的交直流配电网电压多目标优化改进粒子群算法［J］. 电力系统及其自动化学报， 2021 ， 33 （ 12 ）： 10 - 17 .

WANG Shouxiang ， LI Qi ， ZHAO Qianyu ， et al . Improved particle swarm optimization algorithm for multi-objective voltage optimization of AC/DC distribution network considering the randomness of source and loads ［J］. Proceedings of the CSU-EPSA ， 2021 ， 33 （ 12 ）： 10 - 17 .

LU L Y ， CHU C C . Consensus-based secondary frequency and voltage droop control of virtual synchronous generators for isolated AC micro-grids ［J］. IEEE Journal on Emerging and Selected Topics in Circuits and Systems ， 2015 ， 5 （ 3 ）： 443 - 455 .

ŠULC P ， BACKHAUS S ， CHERTKOV M . Optimal distributed control of reactive power via the alternating direction method of multipliers ［J］. IEEE Transactions on Energy Conversion ， 2014 ， 29 （ 4 ）： 968 - 977 .

周念成，廖建权，王强钢，等 . 深度学习在智能电网中的应用现状分析与展望［J］. 电力系统自动化， 2019 ， 43 （ 4 ）： 180 - 191 .

ZHOU Niancheng ， LIAO Jianquan ， WANG Qianggang ， et al . Analysis and prospect of deep learning application in smart grid ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 4 ）： 180 - 191 .

杨挺，赵黎媛，王成山 . 人工智能在电力系统及综合能源系统中的应用综述［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 2 - 14 .

YANG Ting ， ZHAO Liyuan ， WANG Chengshan . Review on application of artificial intelligence in power system and integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 2 - 14 .

MOCANU E ， MOCANU D C ， NGUYEN P H ， et al . On-line building energy optimization using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 3698 - 3708 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 1998 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Playing Atari with deep reinforcement learning ［EB/OL］. （ 2013-12-19 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1312.5602 https://arxiv.org/abs/1312.5602 .

AlphaGO ［EB/OL］. ［ 2022-02-20 ］. https：//www.deepmind.com/research/highlighted-research/alphago https://www.deepmind.com/research/highlighted-research/alphago .

LEE J ， HWANGBO J ， WELLHAUSEN L ， et al . Learning quadrupedal locomotion over challenging terrain ［J］. Science Robotics ， 2020 ， 5 （ 47 ）： eabc5986 .

BERNER C ， GREG B ， BROOKE C ， et al . Dota 2 with large scale deep reinforcement learning ［EB/OL］. （ 2019-12-13 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1912.06680 https://arxiv.org/abs/1912.06680 .

DEGRAVE J ， FELICI F ， BUCHLI J ， et al . Magnetic control of tokamak plasmas through deep reinforcement learning ［J］. Nature ， 2022 ， 602 （ 7897 ）： 414 - 419 .

JUMPER J ， EVANS R ， PRITZEL A ， et al . Highly accurate protein structure prediction with AlphaFold ［J］. Nature ， 2021 ， 596 （ 7873 ）： 583 - 589 .

BELLEMARE M G ， CANDIDO S ， CASTRO P S ， et al . Autonomous navigation of stratospheric balloons using reinforcement learning ［J］. Nature ， 2020 ， 588 （ 7836 ）： 77 - 82 .

Horizon： the first open source reinforcement platform for large-scale products and services ［EB/OL］. （ 2018-11-01 ）［ 2022-02-20 ］. https：//engineering.fb.com/2018/11/01/ml-applications/horizon/ https://engineering.fb.com/2018/11/01/ml-applications/horizon/ .

POPOVA M ， ISAYEV O ， TROPSHA A . Deep reinforcement learning for de novo drug design ［J］. Science Advances ， 2018 ， 4 （ 7 ）： eaap7885 .

ZHE X ， Li Z ， GUAN Q ， et al . Large-scale order dispatch in on-demand ride-sharing platforms： a learning and planning approach ［EB/OL］. （ 2018-07-19 ）［ 2022-02-20 ］. https：//dl.acm.org/doi/10.1145/3219819.3219824 https://dl.acm.org/doi/10.1145/3219819.3219824 .

VAN HASSELT H ， GUEZ A ， SILVER D . Deep reinforcement learning with double Q-learning ［C］// Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence ， February 12-17 ， 2016 ， Phoenix， USA ： 2094 - 2100 .

WANG Z Y ， SCHAUL T ， HESSEL M ， et al . Dueling network architectures for deep reinforcement learning ［EB/OL］. （ 2015-11-20 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1511.06581 https://arxiv.org/abs/1511.06581 .

WILLIAMS R J . Simple statistical gradient-following algorithms for connectionist reinforcement learning ［J］. Machine Learning ， 1992 ， 8 （ 3 ）： 229 - 256 .

SCHULMAN J ， LEVINE S ， MORITZ P ， et al . Trust region policy optimization ［EB/OL］. （ 2015-02-19 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1502.05477 https://arxiv.org/abs/1502.05477 .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. （ 2017-07-20 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1707.06347 https://arxiv.org/abs/1707.06347 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. （ 2015-09-09 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1509.02971 https://arxiv.org/abs/1509.02971 .

FUJIMOTO S ， VAN HOOF H ， MEGER D . Addressing function approximation error in actor-critic methods ［EB/OL］. （ 2018-02-26 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1802.09477 https://arxiv.org/abs/1802.09477 .

MNIH V ， BADIA A P ， MIRZA M ， et al . Asynchronous methods for deep reinforcement learning ［EB/OL］. （ 2016-02-04 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1602.01783 https://arxiv.org/abs/1602.01783 .

MOHAMMAD ， B ， LURI F ， STEPHEN T ， et al . Reinforcement learning through asynchronous advantage actor-critic on a GPU ［EB/OL］. （ 2016-11-18 ）［ 2023-04-05 ］. https：//arxiv.org/abs/1611.06256 https://arxiv.org/abs/1611.06256 .

HAARNOJA T ， ZHOU A ， ABBEEL P ， et al . Soft actor-critic： off-policy maximum entropy deep reinforcement learning with a stochastic actor ［EB/OL］. （ 2018-01-04 ）［ 2022-02-20 ］. https：//arxiv.org/abs/1801.01290 https://arxiv.org/abs/1801.01290 .

SCHMIDT L M ， BROSIG J ， PLINGE A ， et al . An introduction to multi-agent reinforcement learning and review of its application to autonomous mobility ［EB/OL］. （ 2022-03-15 ）［ 2022-03-25 ］. https：//arxiv.org/abs/2203.07676 https://arxiv.org/abs/2203.07676 .

CHU T S ， WANG J ， CODECÀ L ， et al . Multi-agent deep reinforcement learning for large-scale traffic signal control ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2020 ， 21 （ 3 ）： 1086 - 1095 .

FOERSTER J ， FARQUHAR G ， AFOURAS T ， et al . Counterfactual multi-agent policy gradients ［C］// Proceedings of the AAAI Conference on Artificial Intelligence ， February 2-7 ， 2018 ， New Orleans， USA ： 2974 - 2982 .

FOERSTER J N ， ASSAEL Y M ， DE FREITAS N ， et al . Learning to communicate with deep multi-agent reinforcement learning ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems ， December 5-10 ， 2016 ， Barcelona， Spain ： 2145 - 2153 .

LOWE R ， WU Y ， TAMAR A ， et al . Multi-agent actor-critic for mixed cooperative-competitive environments ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems ， December 4-9 ， 2017 ， Long Beach， USA ： 6382 - 6393 .

廖秋萍，吕林，刘友波，等 . 考虑重构的含可再生能源配电网电压控制模型与算法［J］. 电力系统自动化， 2017 ， 41 （ 18 ）： 32 - 39 .

LIAO Qiuping ， LYU Lin ， LIU Youbo ， et al . Reconfiguration based model and algorithm of voltage regulating for distribution network with renewable energy ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 18 ）： 32 - 39 .

黄振刚，刘安灵，梁昊 . 考虑风电随机性和储能参与的配电网经济调度［J］. 电子设计工程， 2018 ， 26 （ 5 ）： 11 - 16 .

HUANG Zhengang ， LIU Anling ， LIANG Hao . Distribution network economic dispatch considering wind stochasticity and storage energy conservation ［J］. Electronic Design Engineering ， 2018 ， 26 （ 5 ）： 11 - 16 .

袁洪涛，韦钢，张贺，等 . 基于模型预测控制含充换储一体站的配电网优化运行［J］. 电力系统自动化， 2020 ， 44 （ 5 ）： 187 - 197 .

YUAN Hongtao ， WEI Gang ， ZHANG He ， et al . Model predictive control based optimal operation of distribution network with charging-swapping-storage integrated station ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 5 ）： 187 - 197 .

SHUAI H ， FANG J K ， AI X M ， et al . Optimal real-time operation strategy for microgrid： an ADP-based stochastic nonlinear optimization approach ［J］. IEEE Transactions on Sustainable Energy ， 2019 ， 10 （ 2 ）： 931 - 942 .

DUAN J J ， YI Z H ， SHI D ， et al . Reinforcement-learning-based optimal control of hybrid energy storage systems in hybrid AC-DC microgrids ［J］. IEEE Transactions on Industrial Informatics ， 2019 ， 15 （ 9 ）： 5355 - 5364 .

SHANG Y W ， WU W C ， GUO J B ， et al . Stochastic dispatch of energy storage in microgrids： an augmented reinforcement learning approach ［J］. Applied Energy ， 2020 ， 261 ： 114423 .

BUI V H ， HUSSAIN A ， KIM H M . Double deep Q-learning-based distributed operation of battery energy storage system considering uncertainties ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 1 ）： 457 - 469 .

DING T ， ZENG Z Y ， BAI J W ， et al . Optimal electric vehicle charging strategy with Markov decision process and reinforcement learning technique ［J］. IEEE Transactions on Industry Applications ， 2020 ， 56 （ 5 ）： 5811 - 5823 .

CAO D ， HU W H ， XU X ， et al . Deep reinforcement learning based approach for optimal power flow of distribution networks embedded with renewable energy and storage devices ［J］. Journal of Modern Power Systems and Clean Energy ， 2021 ， 9 （ 5 ）： 1101 - 1110 .

WANG S Y ， DU L ， FAN X Y ， et al . Deep reinforcement scheduling of energy storage systems for real-time voltage regulation in unbalanced LV networks with high PV penetration ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 4 ）： 2342 - 2352 .

杨博，陈义军，姚伟，等 . 基于新一代人工智能技术的电力系统稳定评估与决策综述［J］. 电力系统自动化， 2022 ， 46 （ 22 ）： 200 - 223 .

YANG Bo ， CHEN Yijun ， YAO Wei ， et al . Review on stability assessment and decision for power systems based on new-generation artificial intelligence technology ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 22 ）： 200 - 223 .

FU Y Y ， CHIANG H D . Toward optimal multiperiod network reconfiguration for increasing the hosting capacity of distribution networks ［J］. IEEE Transactions on Power Delivery ， 2018 ， 33 （ 5 ）： 2294 - 2304 .

CHEN B ， CHEN C ， WANG J H ， et al . Sequential service restoration for unbalanced distribution systems and microgrids ［J］. IEEE Transactions on Power Systems ， 2018 ， 33 （ 2 ）： 1507 - 1520 .

GAO Y Q ， WANG W ， SHI J ， et al . Batch-constrained reinforcement learning for dynamic distribution network reconfiguration ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 6 ）： 5357 - 5369 .

LI Y Z ， HAO G K ， LIU Y ， et al . Many-objective distribution network reconfiguration via deep reinforcement learning assisted optimization algorithm ［J］. IEEE Transactions on Power Delivery ， 2022 ， 37 （ 3 ）： 2230 - 2244 .

DEHGHANI N L ， JEDDI A B ， SHAFIEEZADEH A . Intelligent hurricane resilience enhancement of power distribution systems via deep reinforcement learning ［J］. Applied Energy ， 2021 ， 285 ： 116355 .

WU T ， WANG J H ， LU X N ， et al . AC/DC hybrid distribution network reconfiguration with microgrid formation using multi-agent soft actor-critic ［J］. Applied Energy ， 2022 ， 307 ： 118189 .

罗欣儿，杜进桥，田杰，等 . 基于深度强化学习的主动配电网高恢复力决策方法［J］. 南方电网技术， 2022 ， 16 （ 1 ）： 67 - 74 .

LUO Xiner ， DU Jinqiao ， TIAN Jie ， et al . High resilience decision-making method of active distribution network based on deep reinforcement learning ［J］. Southern Power System Technology ， 2022 ， 16 （ 1 ）： 67 - 74 .

苏译， TEH J ，柏智，等 . 考虑不确定性扰动的含海量资源配电网弹性研究综述［J］. 电力系统自动化， 2022 ， 46 （ 16 ）： 17 - 30 .

SU Yi ， TEH J ， BAI Zhi ， et al . Review of research on resilience of distribution network with massive resources considering uncertainty disturbance ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 16 ）： 17 - 30 .

王冲，王秀丽，鞠平，等 . 电力系统随机分析方法研究综述［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 184 - 199 .

WANG Chong ， WANG Xiuli ， JU Ping ， et al . Review of research on power system stochastic analysis methods ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 184 - 199 .

邓清唐，胡丹尔，蔡田田，等 . 基于多智能体深度强化学习的配电网无功优化策略［J］. 电工电能新技术， 2022 ， 41 （ 2 ）： 10 - 20 .

DENG Qingtang ， HU Daner ， CAI Tiantian ， et al . Reactive power optimization strategy of distribution network based on multi agent deep reinforcement learning ［J］. Advanced Technology of Electrical Engineering and Energy ， 2022 ， 41 （ 2 ）： 10 - 20 .

XU H C ， DOMÍNGUEZ-GARCÍA A D ， SAUER P W . Optimal tap setting of voltage regulation transformers using batch reinforcement learning ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 3 ）： 1990 - 2001 .

LIU H T ， WU W C . Two-stage deep reinforcement learning for inverter-based volt-var control in active distribution networks ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 3 ）： 2037 - 2047 .

CAO D ， ZHAO J B ， HU W H ， et al . Model-free voltage control of active distribution system with PVs using surrogate model-based deep reinforcement learning ［J］. Applied Energy ， 2022 ， 306 ： 117982 .

ZHAO B ， XU Z C ， XU C ， et al . Network partition-based zonal voltage control for distribution networks with distributed PV systems ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4087 - 4098 .

LI P S ， ZHANG C ， WU Z J ， et al . Distributed adaptive robust voltage/var control with network partition in active distribution networks ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2245 - 2256 .

XU Y L ， ZHANG W ， LIU W X ， et al . Multiagent-based reinforcement learning for optimal reactive power dispatch ［J］. IEEE Transactions on Systems， Man， and Cybernetics， Part C （Applications and Reviews）， 2012 ， 42 （ 6 ）： 1742 - 1751 .

ZHANG Y ， WANG X N ， WANG J H ， et al . Deep reinforcement learning based volt-var optimization in smart distribution systems ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 1 ）： 361 - 371 .

CAO D ， HU W H ， ZHAO J B ， et al . A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 5 ）： 4120 - 4123 .

LIU H T ， WU W C . Online multi-agent reinforcement learning for decentralized inverter-based volt-var control ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2980 - 2990 .

CAO D ， ZHAO J B ， HU W H ， et al . Attention enabled multi-agent DRL for decentralized volt-var control of active distribution system using PV inverters and SVCs ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 3 ）： 1582 - 1592 .

CAO D ， ZHAO J B ， HU W H ， et al . Data-driven multi-agent deep reinforcement learning for distribution system decentralized voltage control with high penetration of PVs ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 5 ）： 4137 - 4150 .

LIU H Y ， ZHANG C ， CHAI Q M ， et al . Robust regional coordination of inverter-based volt/var control via multi-agent deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 6 ）： 5420 - 5433 .

GAO Y Q ， WANG W ， YU N P . Consensus multi-agent reinforcement learning for volt-var control in power distribution networks ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 3594 - 3604 .

LI H P ， WANG Z H ， HE H B . Distributed volt-var optimization based on multi-agent deep reinforcement learning ［C］// 2021 International Joint Conference on Neural Networks （IJCNN）， July 18-22 ， 2021 ， Shenzhen， China ： 1 - 7 .

LIU H T ， WU W C . Federated reinforcement learning for decentralized voltage control in distribution networks ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 5 ）： 3840 - 3843 .

YANG Q L ， WANG G ， SADEGHI A ， et al . Two-timescale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2313 - 2323 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

SUN X Z ， QIU J . Two-stage volt/var control in active distribution networks with multi-agent deep reinforcement learning method ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2903 - 2912 .

胡丹尔，彭勇刚，韦巍，等 . 多时间尺度的配电网深度强化学习无功优化策略［J］. 中国电机工程学报， 2022 ， 42 （ 14 ）： 5034 - 5045 .

HU Daner ， PENG Yonggang ， WEI Wei ， et al . Multi-timescale deep reinforcement learning for reactive power optimization of distribution network ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 14 ）： 5034 - 5045 .

CAO D ， ZHAO J B ， HU W H ， et al . Deep reinforcement learning enabled physical-model-free two-timescale voltage control method for active distribution systems ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 1 ）： 149 - 165 .

LIU Haotian ， WU Wenchuan ， WANG Yao . Bi-level off-policy reinforcement learning for volt/var control involving continuous and discrete devices ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 1 ）： 385 - 395 .

徐春雷，吴海伟，刁瑞盛，等 . 基于深度强化学习算法的“电网脑”及其示范工程应用［J］. 电力需求侧管理， 2021 ， 23 （ 4 ）： 73 - 78 .

XU Chunlei ， WU Haiwei ， DIAO Ruisheng ， et al . Deep reinforcement learning-based grid mind and field demonstration application ［J］. Power Demand Side Management ， 2021 ， 23 （ 4 ）： 73 - 78 .

李亦言，胡荣兴，宋立冬，等 . 机器学习在智能配用电领域中的应用：北美工程实践概述［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 99 - 113 .

LI Yiyan ， HU Rongxing ， SONG Lidong ， et al . Application of machine learning in field of smart power distribution and utilization： overview of engineering practice in North America ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 99 - 113 .

GRAF P ， ANNONI J ， BAY C ， et al . Distributed reinforcement learning with ADMM-RL ［C］// 2019 American Control Conference （ACC）， July 10-12 ， 2019 ， Philadelphia， USA ： 4159 - 4166 .

王琦，李峰，汤奕，等 . 基于物理-数据融合模型的电网暂态频率特征在线预测方法［J］. 电力系统自动化， 2018 ， 42 （ 19 ）： 1 - 9 .

WANG Qi ， LI Feng ， TANG Yi ， et al . On-line prediction method of transient frequency characteristics for power grid based on physical-statistical model ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 19 ）： 1 - 9 .

陈永东，刘友波，沈晓东，等 . 面向城市能源系统分布式资源的边缘智能技术综述［J］. 电力系统自动化， 2022 ， 46 （ 17 ）： 142 - 152 .

CHEN Yongdong ， LIU Youbo ， SHEN Xiaodong ， et al . Review of edge intelligence technology for distributed energy resources in urban energy systems ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 17 ）： 142 - 152 .

薛禹胜，赖业宁 . 大能源思维与大数据思维的融合：（一）大数据与电力大数据［J］. 电力系统自动化， 2016 ， 40 （ 1 ）： 1 - 8 .

XUE Yusheng ， LAI Yening . Integration of macro energy thinking and big data thinking： Part one big data and power big data ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 1 ）： 1 - 8 .

薛禹胜 . 因果分析及机器学习之间的壁垒与融合［R/OL］.（ 2017-04-22 ）［ 2022-02-20 ］. https：//www.docin.com/p-2434071903.html https://www.docin.com/p-2434071903.html .

XUE Yusheng . Barrier and integration between causal analysis and machine learning ［R/OL］. （ 2017-04-22 ）［ 2022-02-20 ］. https：//www.docin.com/p-2434071903.html https://www.docin.com/p-2434071903.html .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Bi-layer Coordinated Control Strategy of Distribution Network Considering Participation of Electric Vehicles and Microgrid

Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

FAN Peixiao

YANG Jun

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

Hubei Engineering and Technology Research Center for AC/DC Intelligent Distribution Network

School of Electrical Engineering and Automation, Wuhan University

Electric Power Research Institute of China Southern Power Grid Company Limited

⁰