Review on Optimization Methods for New Power System Dispatch Based on Deep Reinforcement Learning

FENG Bin; HU Yijie; HUANG Gang; JIANG Wei; XU Huating; GUO Chuangxin

doi:10.7500/AEPS20220228002

您当前的位置：

首页 >

文章列表页 >

Review on Optimization Methods for New Power System Dispatch Based on Deep Reinforcement Learning

Review | 更新时间：2025-06-16

- Review on Optimization Methods for New Power System Dispatch Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 17, Pages: 187-199(2023)
- 作者机构：
  
  1.浙江大学电气工程学院，浙江省杭州市 310027
  2.之江实验室，浙江省杭州市 311121
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(U22B2098);Zhejiang Provincial Natural Science Foundation of China(LQ20E070002);Natinal Scholarship Fund of China(202106320157)
- DOI：10.7500/AEPS20220228002
  CLC：
- Received：28 February 2022，
  
  Revised：2022-04-28，
  
  Published Online：03 April 2023，
  
  Published：10 September 2023
- 稿件说明：
移动端阅览
冯斌,胡轶婕,黄刚等.基于深度强化学习的新型电力系统调度优化方法综述[J].电力系统自动化,2023,47(17):187-199.

FENG Bin,HU Yijie,HUANG Gang,et al.Review on Optimization Methods for New Power System Dispatch Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(17):187-199.
冯斌,胡轶婕,黄刚等.基于深度强化学习的新型电力系统调度优化方法综述[J].电力系统自动化,2023,47(17):187-199. DOI： 10.7500/AEPS20220228002.

FENG Bin,HU Yijie,HUANG Gang,et al.Review on Optimization Methods for New Power System Dispatch Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(17):187-199. DOI： 10.7500/AEPS20220228002.

摘要

随着新能源并网规模不断扩大，能源形式更加灵活多变，电力系统调度运行面临新的挑战。随着系统复杂度和不确定性增加，传统基于物理模型的优化方法难以建立精确的模型进行实时快速求解，而深度强化学习（DRL）可以从历史经验中自适应地学习调度策略并实时决策，避免了复杂的建模过程，以数据驱动的方式应对更高的不确定性和复杂度。文中首先介绍了新型电力系统调度运行问题；然后，介绍了DRL原理及其分类算法；接着，分析了各类DRL算法在求解新型电力系统调度决策问题时的优势与劣势；最后，对需进一步研究的方向进行了展望。

Abstract

With the continuous expansion of renewable energy integration scale

energy forms become more flexible and diverse

which presents new challenges to the dispatch operation of power systems. As the complexity and uncertainty of the system increase

the traditional optimization methods based on physical models are difficult to establish the accurate models for real-time and rapid solutions. In contrast

the deep reinforcement learning (DRL) can adaptively learn the scheduling strategies and make real-time decisions from historical experiences

avoiding the complex modeling process and coping with higher uncertainty and complexity in a data-driven manner. In this paper

the dispatch operation problems of new power systems are firstly introduced

then the principles and classification of DRL are described

and the advantages and disadvantages of various DRL methods to solve the dispatch decision problems of new power systems are analyzed. Finally

the trends that need further research are prospected.

关键词

Keywords

references

《新型电力系统技术研究报告》正式发布［EB/OL］.［ 2022-01-14 ］. https：//www.tsinghua.edu.cn/info/1175/90380.htm https://www.tsinghua.edu.cn/info/1175/90380.htm .

Official release of“Research Report on New Power System Technology” ［EB/OL］. ［ 2022-01-14 ］. https：//www.tsinghua.edu.cn/info/1175/90380.htm https://www.tsinghua.edu.cn/info/1175/90380.htm .

舒印彪，陈国平，贺静波，等 . 构建以新能源为主体的新型电力系统框架研究［J］. 中国工程科学， 2021 ， 23 （ 6 ）： 61 - 69 .

SHU Yinbiao ， CHEN Guoping ， HE Jingbo ， et al . Building a new electric power system based on new energy sources ［J］. Strategic Study of CAE ， 2021 ， 23 （ 6 ）： 61 - 69 .

加快构建新型电力系统［EB/OL］.［ 2021-11-01 ］. http：//www.xinhuanet.com/comments/2021-08/03/c_1127723605.htm http://www.xinhuanet.com/comments/2021-08/03/c_1127723605.htm .

Speeding up the construction of new power system ［EB/OL］. ［ 2021-11-01 ］. http：//www.xinhuanet.com/comments/2021-08/03/c_1127723605.htm http://www.xinhuanet.com/comments/2021-08/03/c_1127723605.htm .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. 2nd ed . Cambridge， USA ： A Bradford Book ， 2018 .

LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 - 444 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

SILVER D ， HUANG A ， MADDISON C J ， et al . Mastering the game of Go with deep neural networks and tree search ［J］. Nature ， 2016 ， 529 （ 7587 ）： 484 - 489 .

KOBER J ， BAGNELL J A ， PETERS J . Reinforcement learning in robotics： a survey ［J］. International Journal of Robotics Research ， 2013 ， 32 （ 11 ）： 1238 - 1274 .

WEI H ， ZHENG G J ， YAO H X ， et al . IntelliLight： a reinforcement learning approach for intelligent traffic light control ［C］// 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining ， August 19-23 ， 2018 ， London， United Kingdom ： 2496 - 2505 .

王力成，邓宝华，黄刚，等 . 知识-数据混合驱动的电网频率协同控制算法［J］. 中国电机工程学报， 2022 ， 42 （ 23 ）： 8523 - 8534 .

WANG Licheng ， DENG Baohua ， HUANG Gang ， et al . Coordinated system frequency control with a hybrid knowledge-data driven algorithm ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 23 ）： 8523 - 8534 .

HOSSAIN R R ， HUANG Q H ， HUANG R K . Graph convolutional network-based topology embedded deep reinforcement learning for voltage stability control ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 5 ）： 4848 - 4851 .

CARPENTIER J . Contribution to the economic dispatch problem ［J］. Bulletin de la Societe Francoise des Electriciens ， 1962 ， 3 （ 8 ）： 431 - 447 .

赵晋泉，叶君玲，邓勇 . 直流潮流与交流潮流的对比分析［J］. 电网技术， 2012 ， 36 （ 10 ）： 147 - 152 .

ZHAO Jinquan ， YE Junling ， DENG Yong . Comparative analysis on DC power flow and AC power flow ［J］. Power System Technology ， 2012 ， 36 （ 10 ）： 147 - 152 .

BELLMAN R . A Markovian decision process ［J］. Indiana University Mathematics Journal ， 1957 ， 6 （ 4 ）： 679 - 684 .

WATKINS C J C H ， DAYAN P . Q-learning ［J］. Machine Learning ， 1992 ， 8 （ 3 ）： 279 - 292 .

NAGABANDI A ， KAHN G ， FEARING R S ， et al . Neural network dynamics for model-based deep reinforcement learning with model-free fine-tuning ［C］// 2018 IEEE International Conference on Robotics and Automation （ICRA）， May 21-25 ， 2018 ， Brisbane， Australia ： 7559 - 7566 .

SILVER D ， HUBERT T ， SCHRITTWIESER J ， et al . A general reinforcement learning algorithm that masters chess， shogi， and Go through self-play ［J］. Science ， 2018 ， 362 （ 6419 ）： 1140 - 1144 .

SCHRITTWIESER J ， ANTONOGLOU I ， HUBERT T ， et al . Mastering Atari， Go， chess and shogi by planning with a learned model ［J］. Nature ， 2020 ， 588 （ 7839 ）： 604 - 609 .

COULOM R . Efficient selectivity and backup operators in Monte-Carlo tree search ［C］// 5th International Conference on Computers and Games ， May 29-31 ， 2006 ， Berlin， Germany ： 72 - 83 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Playing Atari with deep reinforcement learning ［EB/OL］. ［ 2021-12-18 ］. https：//arxiv.org/abs/1312.5602 https://arxiv.org/abs/1312.5602 .

SCHAUL T ， QUAN J ， ANTONOGLOU I ， et al . Prioritized experience replay ［EB/OL］. ［ 2021-12-25 ］. https：//arxiv.org/abs/1511.05952 https://arxiv.org/abs/1511.05952 .

VAN HASSELT H ， GUEZ A ， SILVER D . Deep reinforcement learning with double Q-learning ［C］// 30th AAAI Conference on Artificial Intelligence ， February 12-17 ， 2016 ， Phoenix， USA ： 2094 - 2100 .

WANG Z Y ， SCHAUL T ， HESSEL M ， et al . Dueling network architectures for deep reinforcement learning ［C］// 33rd International Conference on Machine Learning ， June 19-24 ， 2016 ， New York， USA ： 1995 - 2003 .

BELLEMARE M G ， DABNEY W ， MUNOS R . A distributional perspective on reinforcement learning ［C］// 34th International Conference on Machine Learning ， August 6-11 ， 2017 ， Sydney， Australia ： 449 - 458 .

HESSEL M ， MODAYIL J ， VAN HASSELT H ， et al . Rainbow： combining improvements in deep reinforcement learning ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1710.02298v1 https://arxiv.org/abs/1710.02298v1 .

RUMMERY G ， NIRANJAN M . On-line Q-learning using connectionist systems ［EB/OL］. ［ 2022-01-10 ］. https：//www.mendeley.com/catalogue/562a4959-6052-3b61-bbde-137a8705 50a3/ https://www.mendeley.com/catalogue/562a4959-6052-3b61-bbde-137a870550a3/ .

FORTUNATO M ， AZAR M G ， PIOT B ， et al . Noisy networks for exploration ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1706.10295 https://arxiv.org/abs/1706.10295 .

DABNEY W ， ROWLAND M ， BELLEMARE M ， et al . Distributional reinforcement learning with quantile regression ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/pdf/1710.10044.pdf https://arxiv.org/pdf/1710.10044.pdf .

WILLIAMS R J . Simple statistical gradient-following algorithms for connectionist reinforcement learning ［J］. Machine Learning ， 1992 ， 8 （ 3 ）： 229 - 256 .

SCHULMAN J ， LEVINE S ， MORITZ P ， et al . Trust region policy optimization ［C］// 32nd International Conference on International Conference on Machine Learning ， July 6-11 ， 2015 ， Lille， France ： 1889 - 1897 .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1707.06347 https://arxiv.org/abs/1707.06347 .

SILVER D ， LEVER G ， HEESS N ， et al . Deterministic policy gradient algorithms ［EB/OL］. ［ 2022-01-10 ］. https：//dl.acm.org/doi/abs/10.5555/3044805.3044850 https://dl.acm.org/doi/abs/10.5555/3044805.3044850 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1509.02971 https://arxiv.org/abs/1509.02971 .

HAARNOJA T ， ZHOU A ， ABBEEL P ， et al . Soft actor-critic： off-policy maximum entropy deep reinforcement learning with a stochastic actor ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1801.01290 https://arxiv.org/abs/1801.01290 .

MNIH V ， BADIA A P ， MIRZA M ， et al . Asynchronous methods for deep reinforcement learning ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/pdf/1602.01783.pdf https://arxiv.org/pdf/1602.01783.pdf .

FUJIMOTO S ， VAN HOOF H ， MEGER D . Addressing function approximation error in actor-critic methods ［C］// 35th International Conference on Machine Learning （ICML）， July 10-15 ， 2018 ， Stockholm， Sweden ： 1587 - 1596 .

HAARNOJA T ， TANG H R ， ABBEEL P ， et al . Reinforcement learning with deep energy-based policies ［C］// 34th International Conference on Machine Learning ， August 6-11 ， 2017 ， Sydney， Australia ： 1352 - 1361 .

HU J ， WELLMAN M P . Nash Q-learning for general-sum stochastic games ［J］. Journal of Machine Learning Research ， 2004 ， 6 （ 4 ）： 1039 - 1069 .

LOWE R ， WU Y ， TAMAR A ， et al . Multi-agent actor-critic for mixed cooperative-competitive environments ［C］// 31st International Conference on Neural Information Processing Systems ， December 4-9 ， 2017 ， Long Beach， USA ： 6382 - 6393 .

FOERSTER J ， FARQUHAR G ， AFOURAS T ， et al . Counterfactual multi-agent policy gradients ［C］// 32nd AAAI Conference on Artificial Intelligence ， February 2-7 ， 2018 ， New Orleans， USA ： 2974 - 2982 .

SUNEHAG P ， LEVER G ， GRUSLYS A ， et al . Value-decomposition networks for cooperative multi-agent learning based on team reward ［EB/OL］. ［ 2022-01-10 ］. https：//dl.acm.org/doi/pdf/10.5555/3237383.3238080 https://dl.acm.org/doi/pdf/10.5555/3237383.3238080 .

RASHID T ， SAMVELYAN M ， DE WITT C S ， et al . QMIX： monotonic value function factorisation for deep multi-agent reinforcement learning ［EB/OL］. ［ 2022-02-10 ］. https：//arxiv.org/abs/1803.11485 https://arxiv.org/abs/1803.11485 .

BARTO A G ， MAHADEVAN S . Recent advances in hierarchical reinforcement learning ［J］. Discrete Event Dynamic Systems ， 2003 ， 13 （ 4 ）： 341 - 379 .

SUTTON R S ， PRECUP D ， SINGH S . Between MDPs and semi-MDPs： a framework for temporal abstraction in reinforcement learning ［J］. Artificial Intelligence ， 1999 ， 112 （ 1/2 ）： 181 - 211 .

PARR R ， RUSSELL S . Reinforcement learning with hierarchies of machines ［EB/OL］. ［ 2022-01-10 ］. https：//dl.acm.org/doi/10.5555/302528.302894 https://dl.acm.org/doi/10.5555/302528.302894 .

DIETTERICH T G . Hierarchical reinforcement learning with the MAXQ value function decomposition ［J］. Journal of Artificial Intelligence Research ， 2000 ， 13 （ 1 ）： 227 - 303 .

KULKARNI T D ， NARASIMHAN K R ， SAEEDI A ， et al . Hierarchical deep reinforcement learning： integrating temporal abstraction and intrinsic motivation ［C］// 30th International Conference on Neural Information Processing Systems ， December 5-10 ， 2016 ， Barcelona， Spain ： 3682 - 3690 .

FLORENSA C ， DUAN Y ， ABBEEL P . Stochastic neural networks for hierarchical reinforcement learning ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1704.03012 https://arxiv.org/abs/1704.03012 .

HAO R ， LU T G ， AI Q ， et al . Distributed online dispatch for microgrids using hierarchical reinforcement learning embedded with operation knowledge ［J/OL］. IEEE Transactions on Power Systems ［ 2022-01-10 ］. https：//ieeexplore.ieee.org/document/9464628 https://ieeexplore.ieee.org/document/9464628 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

GUAN J ， TANG H ， WANG K ， et al . A parallel multi-scenario learning method for near-real-time power dispatch optimization ［J］. Energy ， 2020 ， 202 ： 117708 .

张津源，蒲天骄，李烨，等 . 基于多智能体深度强化学习的分布式电源优化调度策略［J］. 电网技术， 2022 ， 46 （ 9 ）： 3496 - 3504 .

ZHANG Jinyuan ， PU Tianjiao ， LI Ye ， et al . Multi-agent deep reinforcement learning based optimal dispatch of distributed generators ［J］. Power System Technology ， 2022 ， 46 （ 9 ）： 3496 - 3504 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

HUANG S Y ， LI P ， YANG M ， et al . A control strategy based on deep reinforcement learning under the combined wind-solar storage system ［J］. IEEE Transactions on Industry Applications ， 2021 ， 57 （ 6 ）： 6547 - 6558 .

陈亭轩，徐潇源，严正，等 . 基于深度强化学习的光储充电站储能系统优化运行［J］. 电力自动化设备， 2021 ， 41 （ 10 ）： 90 - 98 .

CHEN Tingxuan ， XU Xiaoyuan ， YAN Zheng ， et al . Optimal operation based on deep reinforcement learning for energy storage system in photovoltaic-storage charging station ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 10 ）： 90 - 98 .

HAO R ， LU T ， AI Q ， et al . Distributed online learning and dynamic robust standby dispatch for networked microgrids ［J］. Applied Energy ， 2020 ， 274 ： 115256 .

YU Y J ， CAI Z F ， LIU Y C . Double deep Q-learning coordinated control of hybrid energy storage system in island micro-grid ［J］. International Journal of Energy Research ， 2021 ， 45 （ 2 ）： 3315 - 3326 .

BUI V H ， HUSSAIN A ， KIM H M . Double deep Q-learning-based distributed operation of battery energy storage system considering uncertainties ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 1 ）： 457 - 469 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 14 - 22 .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy for microgrid based on deep expected Q network algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 14 - 22 .

余宏晖，林声宏，朱建全，等 . 基于深度强化学习的微电网在线优化［J/OL］. 电测与仪表［ 2022-01-10 ］. https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIhG8C45S0n9fL2suRadTyEVl 2pW9UrhTDCdPD64iLFH7p67cuNMs1KaGHuIMxc216qIMqJijn2EpgXJx3VI_73uBFOAb&uniplatform=NZKPT https://kns.cnki.net/kcms2/article/abstract?v=3uoqIhG8C45S0n9fL2suRadTyEVl2pW9UrhTDCdPD64iLFH7p67cuNMs1KaGHuIMxc216qIMqJijn2EpgXJx3VI_73uBFOAb&uniplatform=NZKPT .

YU Honghui ， LIN Shenghong ， ZHU Jianquan ， et al . On-line optimization of microgrid based on deep reinforcement learning ［J/OL］. Electrical Measurement & Instrumentation ［ 2022-01-10 ］. https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIh G8C45S0n9fL2suRadTyEVl2pW9UrhTDCdPD64iLFH7p67cuNMs1KaGHuIMxc216qIMqJijn2EpgXJx3VI_73uBFOAb&uni platform=NZKPT https://kns.cnki.net/kcms2/article/abstract?v=3uoqIhG8C45S0n9fL2suRadTyEVl2pW9UrhTDCdPD64iLFH7p67cuNMs1KaGHuIMxc216qIMqJijn2EpgXJx3VI_73uBFOAb&uniplatform=NZKPT .

LIN L ， GUAN X ， PENG Y ， et al . Deep reinforcement learning for economic dispatch of virtual power plant in Internet of energy ［J］. IEEE Internet of Things Journal ， 2020 ， 7 （ 7 ）： 6288 - 6301 .

FANG D W ， GUAN X ， HU B R ， et al . Deep reinforcement learning for scenario-based robust economic dispatch strategy in Internet of energy ［J］. IEEE Internet of Things Journal ， 2021 ， 8 （ 12 ）： 9654 - 9663 .

YI Z K ， XU Y L ， WANG X ， et al . An improved two-stage deep reinforcement learning approach for regulation service disaggregation in a virtual power plant ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 4 ）： 2844 - 2858 .

FORET P ， KLEINER A ， MOBAHI H ， et al . Sharpness-aware minimization for efficiently improving generalization ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/2010.01412 https://arxiv.org/abs/2010.01412 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

乔骥，王新迎，张擎，等 . 基于柔性行动器-评判器深度强化学习的电-气综合能源系统优化调度［J］. 中国电机工程学报， 2021 ， 41 （ 3 ）： 819 - 833 .

QIAO Ji ， WANG Xinying ， ZHANG Qing ， et al . Optimal dispatch of integrated electricity-gas system with soft actor-critic deep reinforcement learning ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 3 ）： 819 - 833 .

聂欢欢，张家琦，陈颖，等 . 基于双层强化学习方法的多能园区实时经济调度［J］. 电网技术， 2021 ， 45 （ 4 ）： 1330 - 1336 .

NIE Huanhuan ， ZHANG Jiaqi ， CHEN Ying ， et al . Real-time economic dispatch of community integrated energy system based on a double-layer reinforcement learning method ［J］. Power System Technology ， 2021 ， 45 （ 4 ）： 1330 - 1336 .

QIU D ， DONG Z ， ZHANG X ， et al . Safe reinforcement learning for real-time automatic control in a smart energy-hub ［J］. Applied Energy ， 2022 ， 309 ： 118403 .

冯斌，郭亦宗，陈页，等 . 基于GRU多步预测技术的云储能充放电策略［J］. 电力系统自动化， 2021 ， 45 （ 9 ）： 46 - 54 .

FENG Bin ， GUO Yizong ， CHEN Ye ， et al . Charging and discharging strategy of cloud energy storage based on GRU multi-step prediction technology ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 9 ）： 46 - 54 .

刘洪，李吉峰，葛少云，等 . 基于多主体博弈与强化学习的并网型综合能源微网协调调度［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 40 - 48 .

LIU Hong ， LI Jifeng ， GE Shaoyun ， et al . Coordinated scheduling of grid-connected integrated energy microgrid based on multi-agent game and reinforcement learning ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 40 - 48 .

杨照，黄少伟，陈颖 . 基于多智能体强化学习的多园区综合能源系统协同优化运行研究［J］. 电工电能新技术， 2021 ， 40 （ 8 ）： 1 - 10 .

YANG Zhao ， HUANG Shaowei ， CHEN Ying . Research on cooperative optimal operation of multi-park integrated energy system based on multi agent reinforcement learning ［J］. Advanced Technology of Electrical Engineering and Energy ， 2021 ， 40 （ 8 ）： 1 - 10 .

李昊，刘畅，苗博，等 . 考虑冷热电互补及储能系统的多园区综合能源系统协调优化调度［J］. 储能科学与技术， 2022 ， 11 （ 5 ）： 1482 - 1491 .

LI Hao ， LIU Chang ， MIAO Bo ， et al . Coordinative optimal dispatch of multi-park integrated energy system considering complementary cooling， heating and power and energy storage systems ［J］. Energy Storage Science and Technology ， 2022 ， 11 （ 5 ）： 1482 - 1491 .

董雷，刘雨，乔骥，等 . 基于多智能体深度强化学习的电热联合系统优化运行［J］. 电网技术， 2021 ， 45 （ 12 ）： 4729 - 4738 .

DONG Lei ， LIU Yu ， QIAO Ji ， et al . Optimal dispatch of combined heat and power system based on multi-agent deep reinforcement learning ［J］. Power System Technology ， 2021 ， 45 （ 12 ）： 4729 - 4738 .

胡细兵 . 基于强化学习算法的最优潮流研究［D］. 广州：华南理工大学， 2011 .

HU Xibing . The research of optimal power flow based on reinforcement learning ［D］. Guangzhou ： South China University of Technology ， 2011 .

NIE H H ， CHEN Y ， SONG Y K ， et al . A general real-time OPF algorithm using DDPG with multiple simulation platforms ［C］// 2019 IEEE Innovative Smart Grid Technologies-Asia （ISGT Asia）， May 21-24 ， 2019 ， Chengdu， China ： 3713 - 3718 .

YAN Z M ， XU Y . Real-time optimal power flow： a Lagrangian based deep reinforcement learning approach ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 4 ）： 3270 - 3273 .

ZHOU Y H ， ZHANG B ， XU C L ， et al . A data-driven method for fast AC optimal power flow solutions via deep reinforcement learning ［J］. Journal of Modern Power Systems and Clean Energy ， 2020 ， 8 （ 6 ）： 1128 - 1139 .

ZHOU Y H ， LEE W J ， DIAO R S ， et al . Deep reinforcement learning based real-time AC optimal power flow considering uncertainties ［J］. Journal of Modern Power Systems and Clean Energy ， 2021 ， 10 （ 5 ）： 1098 - 1109 .

CAO D ， HU W H ， XU X ， et al . Deep reinforcement learning based approach for optimal power flow of distribution networks embedded with renewable energy and storage devices ［J］. Journal of Modern Power Systems and Clean Energy ， 2021 ， 9 （ 5 ）： 1101 - 1110 .

EL HELOU R ， KALATHIL D ， XIE L . Fully decentralized reinforcement learning-based control of photovoltaics in distribution grids for joint provision of real and reactive power ［J］. IEEE Open Access Journal of Power and Energy ， 2021 ， 8 ： 175 - 185 .

巨云涛，陈希 . 基于双层多智能体强化学习的微网群分布式有功无功协调优化调度［J］. 中国电机工程学报， 2022 ， 42 （ 23 ）： 8534 - 8548 .

JU Yuntao ， CHEN Xi . Distributed active and reactive power coordinated optimal scheduling of networked microgrids based on two-layer multi-agent reinforcement learning ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 23 ）： 8534 - 8548 .

ZHANG Q Z ， DEHGHANPOUR K ， WANG Z Y ， et al . Multi-agent safe policy learning for power management of networked microgrids ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1048 - 1062 .

SHUAI H ， HE H B . Online scheduling of a residential microgrid via Monte-Carlo tree search and a learned model ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1073 - 1087 .

ZHANG Q Z ， DEHGHANPOUR K ， WANG Z Y ， et al . A learning-based power management method for networked microgrids under incomplete information ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1193 - 1204 .

CAPITANESCU F ， MARTINEZ RAMOS J L ， PANCIATICI P ， et al . State-of-the-art， challenges， and future trends in security constrained optimal power flow ［J］. Electric Power Systems Research ， 2011 ， 81 （ 8 ）： 1731 - 1741 .

严梓铭，徐岩 . 结合深度强化学习与领域知识的电力系统拓扑结构优化［J］. 电力系统自动化， 2022 ， 46 （ 1 ）： 60 - 68 .

YAN Ziming ， XU Yan . Topology optimization of power systems combining deep reinforcement learning and domain knowledge ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 1 ）： 60 - 68 .

JASMIN E A ， IMTHIAS AHAMED T P ， JAGTHY RAJ V P . Reinforcement learning solution for unit commitment problem through pursuit method ［C］// 2009 International Conference on Advances in Computing， Control， and Telecommunication Technologies ， December 28-29 ， 2009 ， Bangalore， India ： 324 - 327 .

LI F Y ， QIN J H ， ZHENG W X . Distributed Q-learning-based online optimization algorithm for unit commitment and dispatch in smart grid ［J］. IEEE Transactions on Cybernetics ， 2020 ， 50 （ 9 ）： 4146 - 4156 .

温裕鑫，杨军，朱旭 . 基于深度强化学习的电网机组组合算法［J］. 河北电力技术， 2021 ， 40 （ 5 ）： 6 - 10 .

WEN Yuxin ， YANG Jun ， ZHU Xu . Power grid unit commitment algorithm based on deep reinforcement learning ［J］. Hebei Electric Power ， 2021 ， 40 （ 5 ）： 6 - 10 .

JASMIN E A ， AHAMED T P I ， REMANI T . A function approximation approach to reinforcement learning for solving unit commitment problem with photo voltaic sources ［C］// 2016 IEEE International Conference on Power Electronics， Drives and Energy Systems （PEDES）， December 14-17 ， 2016 ， Trivandrum， India ： 1 - 6 .

DE MARS P ， O’SULLIVAN A . Applying reinforcement learning and tree search to the unit commitment problem ［J］. Applied Energy ， 2021 ， 302 ： 117519 .

刘林鹏，朱建全，陈嘉俊，等 . 基于柔性策略-评价网络的微电网源储协同优化调度策略［J］. 电力自动化设备， 2022 ， 42 （ 1 ）： 79 - 85 .

LIU Linpeng ， ZHU Jianquan ， CHEN Jiajun ， et al . Cooperative optimal scheduling strategy of source and storage in microgrid based on soft actor-critic ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 1 ）： 79 - 85 .

BENJAMIN K ， BRI-MATHIAS S H ， YINGCHEN Z . Autonomous energy grids ［R］. Washington D C， USA ： NREL Power Systems Engineering Center ， 2017 .

RUELENS F ， CLAESSENS B J ， QUAIYUM S ， et al . Reinforcement learning applied to an electric water heater： from theory to practice ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 4 ）： 3792 - 3800 .

QIU S ， LI Z ， FAN D ， et al . Chilled water temperature resetting using model-free reinforcement learning： engineering application ［J］. Energy and Buildings ， 2022 ， 255 ： 111694 .

徐春雷，吴海伟，刁瑞盛，等 . 基于深度强化学习算法的“电网脑”及其示范工程应用［J］. 电力需求侧管理， 2021 ， 23 （ 4 ）： 73 - 78 .

XU Chunlei ， WU Haiwei ， DIAO Ruisheng ， et al . Deep reinforcement learning-based grid mind and field demonstration application ［J］. Power Demand Side Management ， 2021 ， 23 （ 4 ）： 73 - 78 .

SONG Y H ， HUANG S W ， ZHANG Z M ， et al . Risk assessment of power system cascading outages based on deep reinforcement learning ［C］// 2021 40th Chinese Control Conference （CCC）， July 26-28 ， 2021 ， Shanghai， China ： 8273 - 8279 .

ZHANG Z M ， YAO R ， HUANG S W ， et al . An online search method for representative risky fault chains based on reinforcement learning and knowledge transfer ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 3 ）： 1856 - 1867 .

BROCKMAN G ， CHEUNG V ， PETTERSSON L ， et al . OpenAI Gym ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/1606.01540 https://arxiv.org/abs/1606.01540 .

HENRY R ， ERNST D . Gym-ANM： open-source software to leverage reinforcement learning for power system management in research and education ［J］. Software Impacts ， 2021 ， 9 ： 100092 .

FAN T H ， LEE X Y ， WANG Y B . PowerGym： a reinforcement learning environment for volt-var control in power distribution systems ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/2109.03970 https://arxiv.org/abs/2109.03970 .

MAROT A ， DONNOT B ， DULAC-ARNOLD G ， et al . Learning to run a power network challenge： a retrospective analysis ［EB/OL］. ［ 2022-01-10 ］. https：//arxiv.org/abs/2103.03104v2 https://arxiv.org/abs/2103.03104v2 .

陈海东，蒙飞，张越，等 . 基于生成对抗模仿学习的电力系统动态经济调度［J］. 电网技术， 2022 ， 46 （ 11 ）： 4373 - 4380 .

CHEN Haidong ， MENG Fei ， ZHANG Yue ， et al . Dynamic economic dispatch of power system based on generative adversarial imitation learning ［J］. Power System Technology ， 2022 ， 46 （ 11 ）： 4373 - 4380 .

GARCÍA J ， FERNÁNDEZ F . A comprehensive survey on safe reinforcement learning ［J］. Journal of Machine Learning Research ， 2015 ， 16 ： 1437 - 1480 .

ZHANG H ， CHEN H ， BONING D ， et al . Robust reinforcement learning on state observations with learned optimal adversary ［EB/OL］. ［ 2022-01-21 ］. https：//arxiv.org/abs/2101.08452 https://arxiv.org/abs/2101.08452 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

鲁棒优化在电力系统调度决策中的应用研究综述

含风电系统的发用电一体化调度模型

Transient Frequency Safety Assessment Based on Independent Spatial-temporal Feature Extraction and Grouped Enhancement

Related Author

YU Danwen

WANG Qingran

XIE Guohui

ZHANG Lizi

WANG Delin

TIAN Hongxun

LUO Zhiqiang

ZOU Peng

Related Institution

Key Laboratory of Power System Intelligent Dispatch and Control(Shandong University), Ministry of Education

North China Electric Power University

State Grid Energy Research Institute

State Grid Corporation of China

State Grid Shanxi Electric Power Company

⁰