近似动态规划在电力系统优化运行中的应用综述

朱建全; 朱文凯; 刘海欣; 陈嘉俊; 曾恺; 刘明波

doi:10.7500/AEPS20231212008

您当前的位置：

首页 >

文章列表页 >

近似动态规划在电力系统优化运行中的应用综述

综述·观点 | 更新时间：2025-06-16

- 近似动态规划在电力系统优化运行中的应用综述
- Overview on Application of Approximate Dynamic Programming in Optimal Operation of Power System
- 电力系统自动化 2024年48卷第22期页码：1-21
- 作者机构：
  
  华南理工大学电力学院，广东省广州市 510641
- 作者简介：
  
  朱建全(1982—)，男，博士，教授，博士生导师，主要研究方向：电力系统建模、分析与优化。E-mail：zhujianquan@scut.edu.cn
  朱文凯(1998—)，男，通信作者，硕士研究生，主要研究方向：电力系统优化运行与控制。E-mail：epuzwki@foxmail.com
  刘海欣(1996—)，女，硕士研究生，主要研究方向：综合能源系统优化运行。E-mail：1795400437@qq.com
- 基金信息：
  
  国家自然科学基金资助项目(51977081);广东省自然科学基金资助项目(2022A1515011193)
- DOI：10.7500/AEPS20231212008
  中图分类号：
- 收稿：2023-12-12，
  
  修回：2024-03-21，
  
  网络出版：2024-09-10，
  
  纸质出版：2024-11-25
- 稿件说明：
移动端阅览
朱建全,朱文凯,刘海欣等.近似动态规划在电力系统优化运行中的应用综述[J].电力系统自动化,2024,48(22):1-21.

ZHU Jianquan,ZHU Wenkai,LIU Haixin,et al.Overview on Application of Approximate Dynamic Programming in Optimal Operation of Power System[J].Automation of Electric Power Systems,2024,48(22):1-21.
朱建全,朱文凯,刘海欣等.近似动态规划在电力系统优化运行中的应用综述[J].电力系统自动化,2024,48(22):1-21. DOI： 10.7500/AEPS20231212008.

ZHU Jianquan,ZHU Wenkai,LIU Haixin,et al.Overview on Application of Approximate Dynamic Programming in Optimal Operation of Power System[J].Automation of Electric Power Systems,2024,48(22):1-21. DOI： 10.7500/AEPS20231212008.

摘要

高比例可再生能源的接入和日益扩大的系统规模给电力系统优化运行带来了巨大挑战。近似动态规划(ADP)能够有效处理维数灾问题，在求解复杂系统动态优化问题上具备强大优势，近年来成为运筹学领域的一大研究热点。文中对ADP及其在电力优化运行中的应用进行了综述。首先，阐述了ADP的基本思想、主要特点及其近似策略。其次，介绍了不同类型的ADP在电力系统优化运行中的应用现状。最后，讨论了当前ADP在理论和应用中的不足，并对其未来发展方向作了进一步的展望。

Abstract

The high proportion of renewable energy integration and the increasing scale of the system pose significant challenges to the optimal operation of the power system. The approximate dynamic programming (ADP) exhibits significant advantages in solving dynamic optimization problems for complex systems

as it effectively handle the curse of dimensionality issue

which has emerged as a major research focus in the field of operations research in recent years. This paper provides a comprehensive review of the ADP and its applications in the optimal operation of the power system. Firstly

the fundamental ideas

main characteristics

and approximate policies of the ADP are elucidated. Secondly

the application status of different types of ADP in optimal operation of the power system is introduced. Finally

the shortcomings of current ADP in theory and application are discussed

and further prospects for its future development are made.

关键词

Keywords

references

孙晶琪，王愿，郭晓慧，等 . 考虑环境外部性和风光出力不确定性的虚拟电厂运行优化［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 50 - 59 .

SUN Jingqi ， WANG Yuan ， GUO Xiaohui ， et al . Optimal operation of virtual power plant considering environmental externality and output uncertainty of wind and photovoltaic power ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 50 - 59 .

黄伟，刘斯亮，王武，等 . 长时间尺度下计及光伏不确定性的配电网无功优化调度［J］. 电力系统自动化， 2018 ， 42 （ 5 ）： 154 - 162 .

HUANG Wei ， LIU Siliang ， WANG Wu ， et al . Optimal reactive power dispatch with long-time scale in distribution network considering uncertainty of photovoltaic ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 5 ）： 154 - 162 .

SHAO C C ， WANG X F ， SHAHIDEHPOUR M ， et al . Power system economic dispatch considering steady-state secure region for wind power ［J］. IEEE Transactions on Sustainable Energy ， 2017 ， 8 （ 1 ）： 268 - 278 .

张晓花，赵晋泉，陈星莺 . 节能减排多目标机组组合问题的模糊建模及优化［J］. 中国电机工程学报， 2010 ， 30 （ 22 ）： 71 - 76 .

ZHANG Xiaohua ， ZHAO Jinquan ， CHEN Xingying . Multi-objective unit commitment fuzzy modeling and optimization for energy-saving and emission reduction ［J］. Proceedings of the CSEE ， 2010 ， 30 （ 22 ）： 71 - 76 .

高红均，刘俊勇，沈晓东，等 . 主动配电网最优潮流研究及其应用实例［J］. 中国电机工程学报， 2017 ， 37 （ 6 ）： 1634 - 1645 .

GAO Hongjun ， LIU Junyong ， SHEN Xiaodong ， et al . Optimal power flow research in active distribution network and its application examples ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 6 ）： 1634 - 1645 .

张丽，徐玉琴，王增平，等 . 包含分布式电源的配电网无功优化［J］. 电工技术学报， 2011 ， 26 （ 3 ）： 168 - 174 .

ZHANG Li ， XU Yuqin ， WANG Zengping ， et al . Reactive power optimization for distribution system with distributed generators ［J］. Transactions of China Electrotechnical Society ， 2011 ， 26 （ 3 ）： 168 - 174 .

张宏宇，印永华，申洪，等 . 考虑大规模风电调峰要求的系统机组检修计划［J］. 电力系统自动化， 2012 ， 36 （ 16 ）： 25 - 30 .

ZHANG Hongyu ， YIN Yonghua ， SHEN Hong ， et al . Generator maintenance scheduling of large-scale wind power integration considering peak shaving ［J］. Automation of Electric Power Systems ， 2012 ， 36 （ 16 ）： 25 - 30 .

周明，严宇，丁琪，等 . 国外典型电力市场交易结算机制及对中国的启示［J］. 电力系统自动化， 2017 ， 41 （ 20 ）： 1 - 8 .

ZHOU Ming ， YAN Yu ， DING Qi ， et al . Transaction and settlement mechanism for foreign representative power markets and its enlightenment for Chinese power market ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 20 ）： 1 - 8 .

HAUSMAN W H . Sequential decision problems： a model to exploit existing forecasters ［J］. Management Science ， 1969 ， 16 （ 2 ）： 93 - 111 .

WHITE C C ， WHITE D J . Markov decision processes ［J］. European Journal of Operational Research ， 1989 ， 39 （ 1 ）： 0377221789903482 .

BAXTER L A ， PUTERMAN M L . Markov decision processes： discrete stochastic dynamic programming ［J］. Technometrics ， 1995 ， 37 （ 3 ）： 353 .

BELLMAN R . Dynamic programming ［J］. Science ， 1966 ， 153 （ 3731 ）： 34 - 37 .

WERBOS P J . Using ADP to understand and replicate brain intelligence： the next level design ［EB/OL］. ［ 2023-04-05 ］. https：//arxiv.org/vc/q-bio/papers/0612/0612045v1.pdf https://arxiv.org/vc/q-bio/papers/0612/0612045v1.pdf .

MURRAY J J ， COX C J ， LENDARIS G G ， et al . Adaptive dynamic programming ［J］. IEEE Transactions on Systems， Man， and Cybernetics， Part C （Applications and Reviews）， 2002 ， 32 （ 2 ）： 140 - 153 .

陈宗海，文锋，王智灵 . 基于自适应评价的非线性系统神经网络控制［J］. 控制与决策， 2007 ， 22 （ 7 ）： 765 - 768 .

CHEN Zonghai ， WEN Feng ， WANG Zhiling . Neural network control of nonlinear systems based on adaptive critic ［J］. Control and Decision ， 2007 ， 22 （ 7 ）： 765 - 768 .

WERBOS P J . Advanced forecasting methods for global crisis warning and models of intelligence ［J］. General Systems Yearbook ， 1977 ， 22 ： 25 - 38 .

WERBOS P J . A menu of designs for reinforcement learning over time ［M］. Cambridge， USA ： The MIT Press ， 1991 .

WIDROW B ， GUPTA N K ， MAITRA S . Punish/reward： learning with a critic in adaptive threshold systems ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1973 ， 3 （ 5 ）： 455 - 465 .

WERBOS P J . Consistency of HDP applied to a simple reinforcement learning problem ［J］. Neural Networks ， 1990 ， 3 （ 2 ）： 179 - 189 .

LENDARIS G G ， PAINTZ C . Training strategies for critic and action neural networks in dual heuristic programming method ［C］// Proceedings of International Conference on Neural Networks ， June 12-12 ， 1997 ， Houston， USA ： 712 - 717 .

BERTSEKAS D P . Dynamic programming and optimal control ［M］. Cambridge， USA ： Athena Scientific ， 2007 .

BERTSEKAS D P . Neuro-dynamic programming ［M］. Boston， USA ： Springer ， 2008 ： 2555 - 2560 .

HALPERIN I . Reinforcement learning and stochastic optimization： a unified framework for sequential decisions ［J］. Quantitative Finance ， 2022 ， 22 （ 12 ）： 2151 - 2154 .

SI J . Handbook of learning and approximate dynamic programming ［M］. Hoboken， USA ： IEEE Press ， 2004 .

POWELL W B ， MEISEL S . Tutorial on stochastic optimization in energy： Part Ⅰ modeling and policies ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 2 ）： 1459 - 1467 .

POWELL W B ， MEISEL S . Tutorial on stochastic optimization in energy： Part Ⅱ an energy storage illustration ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 2 ）： 1468 - 1475 .

POWELL W B . Approximate dynamic programming： solving the curses of dimensionality ［M］. Hoboken， USA ： Wiley-Interscience ， 2007 .

PARDALOS P M . Approximate dynamic programming： solving the curses of dimensionality ［J］. Optimization Methods and Software ， 2009 ， 24 （ 1 ）： 155 .

KLABJAN D . Approximate dynamic programming： solving the curses of dimensionality ［J］. IIE Transactions ， 2009 ， 41 （ 2 ）： 168 - 169 .

LI G Q ， GÖRGES D . Ecological adaptive cruise control and energy management strategy for hybrid electric vehicles based on heuristic dynamic programming ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2019 ， 20 （ 9 ）： 3526 - 3535 .

孙景亮，刘春生 . 基于自适应动态规划的导弹制导律研究综述［J］. 自动化学报， 2017 ， 43 （ 7 ）： 1101 - 1113 .

SUN Jingliang ， LIU Chunsheng . An overview on the adaptive dynamic programming based missile guidance law ［J］. Acta Automatica Sinica ， 2017 ， 43 （ 7 ）： 1101 - 1113 .

穆朝絮，张勇，余瑶，等 . 基于自适应动态规划的航空航天飞行器鲁棒控制研究综述［J］. 空间控制技术与应用， 2019 ， 45 （ 4 ）： 71 - 79 .

MU Chaoxu ， ZHANG Yong ， YU Yao ， et al . An overview on robust control of aviation and aerospace aircraft based on adaptive dynamic programming ［J］. Aerospace Control and Application ， 2019 ， 45 （ 4 ）： 71 - 79 .

赵倩楠 . 近似动态规划算法在病房分配上的应用［J］. 天津理工大学学报， 2017 ， 33 （ 6 ）： 5 - 11 .

ZHAO Qiannan . Application of two-dimensional approximate dynamic programming algorithm in ward distribution ［J］. Journal of Tianjin University of Technology ， 2017 ， 33 （ 6 ）： 5 - 11 .

何胜学 . 防治公交串车的近似动态规划法［J］. 计算机应用研究， 2018 ， 35 （ 9 ）： 2624 - 2627 .

HE Shengxue . Approximate dynamic programming method of resisting bus bunching ［J］. Application Research of Computers ， 2018 ， 35 （ 9 ）： 2624 - 2627 .

李雪，聂兰顺，齐文艳，等 . 基于近似动态规划的动态车辆调度算法［J］. 中国机械工程， 2015 ， 26 （ 5 ）： 682 - 688 .

LI Xue ， NIE Lanshun ， QI Wenyan ， et al . An algorithm of dynamic vehicle scheduling problem based on approximate dynamic programming ［J］. China Mechanical Engineering ， 2015 ， 26 （ 5 ）： 682 - 688 .

齐驰 . 近似动态规划方法及其在交通中的应用［D］. 北京：北京交通大学， 2012 .

QI Chi . On approximate dynamic programming and its applications in transportation ［D］. Beijing ： Beijing Jiaotong University ， 2012 .

BERTSEKAS D P ， TSITSIKLIS J N . Neuro-dynamic programming ［M］. Belmont， USA ： Athena Scientific ， 1996 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： The MIT Press ， 2018 .

JIANG D R ， POWELL W B . Risk-averse approximate dynamic programming with quantile-based risk measures ［J］. Mathematics of Operations Research ， 2018 ， 43 （ 2 ）： 554 - 579 .

POWELL W B . Clearing the jungle of stochastic optimization ［M］. San Francisco， USA ： Bridging Data and Decisions ， 2014 .

POWELL W B . What you should know about approximate dynamic programming ［J］. Naval Research Logistics（NRL）， 2009 ， 56 （ 3 ）： 239 - 249 .

HASTIE T ， TIBSHIRANI R ， FRIEDMAN J H . The elements of statistical learning： data mining， inference， and prediction ［M］. 2nd ed . New York， USA ： Springer ， 2009 .

SPALL J C . Introduction to stochastic search and optimization ［M］. Hoboken， USA ： John Wiley & Sons ， 2003 .

BHATNAGAR S ， PRASAD H L ， PRASHANTH L A . Stochastic recursive algorithms for optimization： simultaneous perturbation methods ［M］. London， UK ： Springer London ， 2013 .

YAN Z M ， XU Y . A hybrid data-driven method for fast solution of security-constrained optimal power flow ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 6 ）： 4365 - 4374 .

YAN Z M ， XU Y . Real-time optimal power flow： a Lagrangian based deep reinforcement learning approach ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 4 ）： 3270 - 3273 .

ZENG S H ， KODY A ， KIM Y ， et al . A reinforcement learning approach to parameter selection for distributed optimal power flow ［J］. Electric Power Systems Research ， 2022 ， 212 ： 108546 .

HUANG R K ， CHEN Y J ， YIN T ， et al . Accelerated derivative-free deep reinforcement learning for large-scale grid emergency voltage control ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 1 ）： 14 - 25 .

LI P ， WEI M J ， JI H R ， et al . Deep reinforcement learning-based adaptive voltage control of active distribution networks with multi-terminal soft open point ［J］. International Journal of Electrical Power and Energy Systems ， 2022 ， 141 ： 108138 .

DUAN J J ， SHI D ， DIAO R S ， et al . Deep-reinforcement-learning-based autonomous voltage control for power grid operations ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 1 ）： 814 - 817 .

董雷，刘雨，乔骥，等 . 基于多智能体深度强化学习的电热联合系统优化运行［J］. 电网技术， 2021 ， 45 （ 12 ）： 4729 - 4738 .

DONG Lei ， LIU Yu ， QIAO Ji ， et al . Optimal dispatch of combined heat and power system based on multi-agent deep reinforcement learning ［J］. Power System Technology ， 2021 ， 45 （ 12 ）： 4729 - 4738 .

DING H Y ， XU Y ， CHEW SI HAO B ， et al . A safe reinforcement learning approach for multi-energy management of smart home ［J］. Electric Power Systems Research ， 2022 ， 210 ： 108120 .

WANG L ， SHI Z W ， DAI W ， et al . Two-stage stochastic planning for integrated energy systems accounting for carbon trading price uncertainty ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 143 ： 108452 .

BERTRAND G ， PAPAVASILIOU A . Adaptive trading in continuous intraday electricity markets for a storage unit ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 3 ）： 2339 - 2350 .

YE Y J ， QIU D W ， SUN M Y ， et al . Deep reinforcement learning for strategic bidding in electricity markets ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1343 - 1355 .

宋煜浩，魏韡，黄少伟，等 . 风储联合电站实时自调度的高效深度确定性策略梯度算法［J］. 电工技术学报， 2022 ， 37 （ 23 ）： 5987 - 5999 .

SONG Yuhao ， WEI Wei ， HUANG Shaowei ， et al . Efficient deep deterministic policy gradient algorithm for real-time self-dispatch of wind-storage power plant ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 23 ）： 5987 - 5999 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

DAS A ， WU D ， NI Z . Approximate dynamic programming with policy-based exploration for microgrid dispatch under uncertainties ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 142 ： 108359 .

ZENG P ， LI H P ， HE H B ， et al . Dynamic energy management of a microgrid using approximate dynamic programming and deep recurrent neural network learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 4435 - 4445 .

FAN J ， OU Y ， WANG P ， et al . Markov decision process of optimal energy management for plug-in hybrid electric vehicle and its solution via policy iteration ［J］. Journal of Physics： Conference Series ， 2020 ， 1550 （ 4 ）： 042011 .

DING Z H ， LU Y ， LAI K X ， et al . Optimal coordinated operation scheduling for electric vehicle aggregator and charging stations in an integrated electricity-transportation system ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 121 ： 106040 .

PAN Z N ， YU T ， CHEN L P ， et al . Real-time stochastic optimal scheduling of large-scale electric vehicles： a multidimensional approximate dynamic programming approach ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 116 ： 105542 .

PANTELIDIS T P ， LI L ， MA T Y ， et al . A node-charge graph-based online carshare rebalancing policy with capacitated electric charging ［J］. Transportation Science ， 2022 ， 56 （ 3 ）： 654 - 676 .

MOAZENI S ， MIRAGHA A H ， DEFOURNY B . A risk-averse stochastic dynamic programming approach to energy hub optimal dispatch ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 3 ）： 2169 - 2178 .

SHUAI H ， FANG J K ， AI X M ， et al . On-line energy management of microgrid via parametric cost function approximation ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 4 ）： 3300 - 3302 .

GHADIMI S ， POWELL W B . Stochastic search for a parametric cost function approximation： energy storage with rolling forecasts ［J］. European Journal of Operational Research ， 2024 ， 312 （ 2 ）： 641 - 652 .

WANG Z S ， ZHU J Q ， CHEN J J ， et al . Transfer learning-based cost function approximation for look-ahead dispatch of power systems ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 149 ： 109064 .

MANN T A ， MANNOR S ， PRECUP D . Approximate value iteration with temporally extended actions ［J］. Journal of Artificial Intelligence Research ， 2015 ， 53 ： 375 - 438 .

SMIRNOVA E ， DOHMATOB E . On the convergence of smooth regularized approximate value iteration schemes ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems ， December 6-12 ， 2020 ， Vancouver， Canada ： 6540 - 6550 .

GEORGE A P ， POWELL W B . Adaptive stepsizes for recursive estimation with applications in approximate dynamic programming ［J］. Machine Learning ， 2006 ， 65 （ 1 ）： 167 - 198 .

帅航 . 基于近似动态规划（ADP）的微电网日内在线优化运行方法研究［D］. 武汉：华中科技大学， 2019 .

SHUAI Hang . Intra-day on-line optimization strategy for microgrid operation based on approximate dynamic programming ［D］. Wuhan ： Huazhong University of Science and Technology ， 2019 .

朱涛，陈嘉俊，段秦刚，等 . 基于近似动态规划的工业园区源-网-荷-储联合运行在线优化算法［J］. 电网技术， 2020 ， 44 （ 10 ）： 3744 - 3752 .

ZHU Tao ， CHEN Jiajun ， DUAN Qingang ， et al . Approximate dynamic programming-based online algorithm for combination operation of source-network-load-storage in the industrial park ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3744 - 3752 .

LI W S ， ZHANG C ， LI L Q . An approximate dynamic programming approach for the maintenance optimisation of networked critical infrastructures ［J］. Journal of the Operational Research Society ， 2024 ， 75 （ 5 ）： 921 - 941 .

张玉敏，孙鹏凯，吉兴全，等 . 基于并行多维近似动态规划的综合能源系统动态经济调度［J］. 电力系统自动化， 2023 ， 47 （ 4 ）： 60 - 68 .

ZHANG Yumin ， SUN Pengkai ， JI Xingquan ， et al . Dynamic economic dispatch for integrated energy system based on parallel multi-dimensional approximate dynamic programming ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 4 ）： 60 - 68 .

覃华，韦化 . 大规模机组组合问题的量子近似动态规划［J］. 中国电机工程学报， 2015 ， 35 （ 19 ）： 4918 - 4929 .

QIN Hua ， WEI Hua . A quantum-inspired approximate dynamic programming algorithm for large-scale unit commitment problems ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 19 ）： 4918 - 4929 .

ZHU J Q ， ZHU T ， MO X M ， et al . A spatiotemporal decomposition algorithm for fully decentralized dynamic economic dispatch in a microgrid ［J］. Electric Power Systems Research ， 2020 ， 185 ： 106361 .

郭野 . 基于近似动态规划的电-气互联系统优化调度研究［D］. 广州：华南理工大学， 2021 .

GUO Ye . Research on optimal dispatching of electric-natural gas system based on approximate dynamic programming ［D］. Guangzhou ： South China University of Technology ， 2021 .

简淦杨，刘明波，林舜江 . 随机动态经济调度问题的存储器建模及近似动态规划算法［J］. 中国电机工程学报， 2014 ， 34 （ 25 ）： 4333 - 4340 .

JIAN Ganyang ， LIU Mingbo ， LIN Shunjiang . Storage modeling and approximate dynamic programming algorithm for stochastic dynamic economic dispatch problems ［J］. Proceedings of the CSEE ， 2014 ， 34 （ 25 ）： 4333 - 4340 .

刘翠平，林舜江，刘明波，等 . 应用近似动态规划算法求解安全约束随机动态经济调度问题［J］. 电力系统自动化， 2016 ， 40 （ 22 ）： 34 - 42 .

LIU Cuiping ， LIN Shunjiang ， LIU Mingbo ， et al . Solution of security-constrained stochastic dynamic economic dispatch problem based on approximate dynamic programming algorithm ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 22 ）： 34 - 42 .

梁振成，韦化，李凌，等 . 中长期发电计划的值函数近似动态规划方法［J］. 中国电机工程学报， 2015 ， 35 （ 20 ）： 5199 - 5209 .

LIANG Zhencheng ， WEI Hua ， LI Ling ， et al . A method of value function approximate dynamic programming for medium/long term generation scheduling ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 20 ）： 5199 - 5209 .

XU Y T ， DING T ， QU M ， et al . Adaptive dynamic programming for gas-power network constrained unit commitment to accommodate renewable energy with combined-cycle units ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 3 ）： 2028 - 2039 .

ZHU J Q ， WANG C X ， GUO Y ， et al . Approximate dynamic programming-based decentralised robust optimisation approach for multi-area economic dispatch considering wind power uncertainty ［J］. IET Renewable Power Generation ， 2020 ， 14 （ 13 ）： 2376 - 2385 .

NASCIMENTO J ， POWELL W B . An optimal approximate dynamic programming algorithm for concave， scalar storage problems with vector-valued controls ［J］. IEEE Transactions on Automatic Control ， 2013 ， 58 （ 12 ）： 2995 - 3010 .

BENDERS J F . Partitioning procedures for solving mixed-variables programming problems ［J］. Numerische Mathematik ， 1962 ， 4 （ 1 ）： 238 - 252 .

PEREIRA M V F ， PINTO L M V G . Multi-stage stochastic optimization applied to energy planning ［J］. Mathematical Programming ， 1991 ， 52 （ 1 ）： 359 - 375 .

PHILPOTT A B ， GUAN Z . On the convergence of stochastic dual dynamic programming and related methods ［J］. Operations Research Letters ， 2008 ， 36 （ 4 ）： 450 - 455 .

PAPAVASILIOU A ， MOU Y T ， CAMBIER L ， et al . Application of stochastic dual dynamic programming to the real-time dispatch of storage under renewable supply uncertainty ［J］. IEEE Transactions on Sustainable Energy ， 2018 ， 9 （ 2 ）： 547 - 558 .

LI Z G ， WU W C ， ZHANG B M ， et al . Decentralized multi-area dynamic economic dispatch using modified generalized benders decomposition ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 1 ）： 526 - 538 .

LAN Y ， ZHAI Q Z ， LIU X M ， et al . Fast stochastic dual dynamic programming for economic dispatch in distribution systems ［J］. IEEE Transactions on Power Systems ， 2023 ， 38 （ 4 ）： 3828 - 3840 .

SIFUENTES W S ， VARGAS A . Hydrothermal scheduling using Benders decomposition： accelerating techniques ［J］. IEEE Transactions on Power Systems ， 2007 ， 22 （ 3 ）： 1351 - 1359 .

ZHU J Q ， ZHU W K ， CHEN J J ， et al . A DRO-SDDP decentralized algorithm for economic dispatch of multi microgrids with uncertainties ［J］. IEEE Systems Journal ， 2023 ， 17 （ 4 ）： 6492 - 6503 .

ZHU J Q ， MO X M ， XIA Y R ， et al . Fully-decentralized optimal power flow of multi-area power systems based on parallel dual dynamic programming ［J］. IEEE Transactions on Power Systems ， 2022 ， 37 （ 2 ）： 927 - 941 .

YUAN Z ， HESAMZADEH M R . A modified Benders decomposition algorithm to solve second-order cone AC optimal power flow ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 2 ）： 1713 - 1724 .

ALGUACIL N ， CONEJO A J . Multiperiod optimal power flow using Benders decomposition ［J］. IEEE Transactions on Power Systems ， 2000 ， 15 （ 1 ）： 196 - 201 .

RABIEE A ， PARNIANI M . Voltage security constrained multi-period optimal reactive power flow using Benders and optimality condition decompositions ［J］. IEEE Transactions on Power Systems ， 2013 ， 28 （ 2 ）： 696 - 708 .

GAO H ， LI Z S . A Benders decomposition based algorithm for steady-state dispatch problem in an integrated electricity-gas system ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 4 ）： 3817 - 3820 .

YANG W T ， LIU W J ， CHUNG C Y ， et al . Coordinated planning strategy for integrated energy systems in a district energy sector ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 3 ）： 1807 - 1819 .

LIN C H ， WU W C ， ZHANG B M ， et al . Decentralized solution for combined heat and power dispatch through Benders decomposition ［J］. IEEE Transactions on Sustainable Energy ， 2017 ， 8 （ 4 ）： 1361 - 1372 .

LI Y ， LI Z Y ， WEN F S ， et al . Privacy-preserving optimal dispatch for an integrated power distribution and natural gas system in networked energy hubs ［J］. IEEE Transactions on Sustainable Energy ， 2019 ， 10 （ 4 ）： 2028 - 2038 .

ZOU J K ， AHMED S ， SUN X A . Stochastic dual dynamic integer programming ［J］. Mathematical Programming： Series A and B ， 2019 ， 175 （ 1/2 ）： 461 - 502 .

LARA C L ， SIIROLA J D ， GROSSMANN I E . Electric power infrastructure planning under uncertainty： stochastic dual dynamic integer programming（SDDiP） and parallelization scheme ［J］. Optimization and Engineering ， 2020 ， 21 （ 4 ）： 1243 - 1281 .

HJELMELAND M N ， ZOU J K ， HELSETH A ， et al . Nonconvex medium-term hydropower scheduling by stochastic dual dynamic integer programming ［J］. IEEE Transactions on Sustainable Energy ， 2019 ， 10 （ 1 ）： 481 - 490 .

ZHANG S X ， SUN X A . Stochastic dual dynamic programming for multistage stochastic mixed-integer nonlinear optimization ［J］. Mathematical Programming ， 2022 ， 196 （ 1 ）： 935 - 985 .

ZOU J K ， AHMED S ， SUN X A . Multistage stochastic unit commitment using stochastic dual dynamic integer programming ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 3 ）： 1814 - 1823 .

BURGES C J C . A tutorial on support vector machines for pattern recognition ［J］. Data Mining and Knowledge Discovery ， 1998 ， 2 （ 2 ）： 121 - 167 .

VAPNIK V . The nature of statistical learning theory ［M］. Berlin， Germany ： Springer Science & Business Media ， 1999 .

VAPNIK V N . An overview of statistical learning theory ［J］. IEEE Transactions on Neural Networks ， 1999 ， 10 （ 5 ）： 988 - 999 .

VEDALDI A ， ZISSERMAN A . Efficient additive kernels via explicit feature maps ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2012 ， 34 （ 3 ）： 480 - 492 .

VEDALDI A ， GULSHAN V ， VARMA M ， et al . Multiple kernels for object detection ［C］// 2009 IEEE 12th International Conference on Computer Vision ， September 29-October 2 ， 2009 ， Kyoto， Japan ： 606 - 613 .

CHOLETTE M E ， LIU L ， JEDDI B ， et al . Battery dispatching for end users with on-site renewables and peak demand charges—an approximate dynamic programming approach ［J］. IEEE Transactions on Control Systems Technology ， 2022 ， 30 （ 5 ）： 2100 - 2114 .

KEERTHISINGHE C ， VERBIČ G ， CHAPMAN A C . A fast technique for smart home management： ADP with temporal difference learning ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 4 ）： 3291 - 3303 .

YUAN J ， CHEN S Z ， YU S S ， et al . A kernel-based real-time adaptive dynamic programming method for economic household energy systems ［J］. IEEE Transactions on Industrial Informatics ， 2023 ， 19 （ 3 ）： 2374 - 2384 .

MAYNE D Q ， RAWLINGS J B ， RAO C V ， et al . Constrained model predictive control： stability and optimality ［J］. Automatica ， 2000 ， 36 （ 6 ）： 789 - 814 .

SPANGARDT G ， LUCHT M ， HANDSCHIN E . Applications for stochastic optimization in the power industry ［J］. Electrical Engineering ， 2006 ， 88 （ 3 ）： 177 - 182 .

BEN-TAL A ， EL GHAOUI L ， NEMIROVSKIĬ A S . Robust optimization ［M］. Princeton， USA ： Princeton University Press ， 2009 .

BEN-TAL A ， GOLANY B ， NEMIROVSKI A ， et al . Retailer-supplier flexible commitments contracts： a robust optimization approach ［J］. Manufacturing & Service Operations Management ， 2005 ， 7 （ 3 ）： 248 - 271 .

孙惠娟，张乐乐，彭春华 . 基于差异化需求响应模型预测控制的微网时域滚动优化调度［J］. 电网技术， 2021 ， 45 （ 8 ）： 3096 - 3105 .

SUN Huijuan ， ZHANG Lele ， PENG Chunhua . Time-domain rolling optimal scheduling of microgrid based on differential demand response model predictive control ［J］. Power System Technology ， 2021 ， 45 （ 8 ）： 3096 - 3105 .

董雷，陈卉，蒲天骄，等 . 基于模型预测控制的主动配电网多时间尺度动态优化调度［J］. 中国电机工程学报， 2016 ， 36 （ 17 ）： 4609 - 4617 .

DONG Lei ， CHEN Hui ， PU Tianjiao ， et al . Multi-time scale dynamic optimal dispatch in active distribution network based on model predictive control ［J］. Proceedings of the CSEE ， 2016 ， 36 （ 17 ）： 4609 - 4617 .

刘立阳，吴军基，孟绍良 . 基于预测控制的含风电滚动优化调度［J］. 电工技术学报， 2017 ， 32 （ 17 ）： 75 - 83 .

LIU Liyang ， WU Junji ， MENG Shaoliang . A rolling dispatch model for wind power integrated power system based on predictive control ［J］. Transactions of China Electrotechnical Society ， 2017 ， 32 （ 17 ）： 75 - 83 .

张国强，张伯明，吴文传 . 考虑风电接入的协调滚动发电计划［J］. 电力系统自动化， 2011 ， 35 （ 19 ）： 18 - 22 .

ZHANG Guoqiang ， ZHANG Boming ， WU Wenchuan . Coordinated roll generation scheduling considering wind power integration ［J］. Automation of Electric Power Systems ， 2011 ， 35 （ 19 ）： 18 - 22 .

ZHU D H ， HUG G . Decomposed stochastic model predictive control for optimal dispatch of storage and generation ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 4 ）： 2044 - 2053 .

VELASQUEZ M A ， QUIJANO N ， CADENA A I ， et al . Distributed stochastic economic dispatch via model predictive control and data-driven scenario generation ［J］. International Journal of Electrical Power & Energy Systems ， 2021 ， 129 ： 106796 .

YE L ， ZHANG C H ， TANG Y ， et al . Hierarchical model predictive control strategy based on dynamic active power dispatch for wind power cluster integration ［J］ IEEE Transactions on Power Systems ， 2019 ， 34 （ 6 ）： 4617 - 4629 .

HU Z Y ， GAO B T ， MAO Y H . Nonlinear model predictive control-based active power dispatch strategy for wind power plant considering dynamic wake effect ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 148 ： 108996 .

娄素华，吴耀武，崔艳昭，等 . 电池储能平抑短期风电功率波动运行策略［J］. 电力系统自动化， 2014 ， 38 （ 2 ）： 17 - 22 .

LOU Suhua ， WU Yaowu ， CUI Yanzhao ， et al . Operation strategy of battery energy storage system for smoothing short-term wind power fluctuation ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 2 ）： 17 - 22 .

吉静，郝丽丽，王昊昊，等 . 大规模风电参与一次调频下基于机组快速启动能力的日内滚动调度［J］. 电力自动化设备， 2020 ， 40 （ 5 ）： 121 - 130 .

JI Jing ， HAO Lili ， WANG Haohao ， et al . Intra-day rolling dispatch considering large-scale wind power participating in primary frequency regulation based on unit fast start-up capability ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 5 ）： 121 - 130 .

谢冰，黄柳强，吴茵，等 . 基于“三公”调度的年度滚动发电计划与机组组合优化模型［J］. 电力系统保护与控制， 2017 ， 45 （ 20 ）： 110 - 116 .

XIE Bing ， HUANG Liuqiang ， WU Yin ， et al . Annual rolling generation scheduling and unit commitment optimization model based on open and impartial dispatching ［J］. Power System Protection and Control ， 2017 ， 45 （ 20 ）： 110 - 116 .

ZHOU M ， WANG B ， WATADA J . Deep learning-based rolling horizon unit commitment under hybrid uncertainties ［J］. Energy ， 2019 ， 186 ： 115843 .

COSTLEY M ， FEIZOLLAHI M J ， AHMED S ， et al . A rolling-horizon unit commitment framework with flexible periodicity ［J］. International Journal of Electrical Power & Energy Systems ， 2017 ， 90 ： 280 - 291 .

OUAMMI A ， DAGDOUGUI H ， DESSAINT L ， et al . Coordinated model predictive-based power flows control in a cooperative network of smart microgrids ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 5 ）： 2233 - 2244 .

ERAZO-CAICEDO D ， MOJICA-NAVA E ， REVELO-FUELAGÁN J . Model predictive control for optimal power flow in grid-connected unbalanced microgrids ［J］. Electric Power Systems Research ， 2022 ， 209 ： 108000 .

ZHONG C Y ， SAKIS MELIOPOULOS A P ， XIE B Q ， et al . Multi-stage quadratic flexible optimal power flow with a rolling horizon ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 3128 - 3137 .

徐峰达，郭庆来，孙宏斌，等 . 基于模型预测控制理论的风电场自动电压控制［J］. 电力系统自动化， 2015 ， 39 （ 7 ）： 59 - 67 .

XU Fengda ， GUO Qinglai ， SUN Hongbin ， et al . Automatic voltage control of wind farms based on model predictive control theory ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 7 ）： 59 - 67 .

杨浩，苏文栋，谷毅，等 . 面向耦合系统的交替方向滚动时域电压分层协同优化控制［J］. 电工技术学报， 2023 ， 38 （ 21 ）： 190 - 205 .

YANG Hao ， SU Wendong ， GU Yi ， et al . Voltage hierarchical cooperative control of coupled system using model predictive control and alternating direction method of multipliers ［J］. Transactions of China Electrotechnical Society ， 2023 ， 38 （ 21 ）： 190 - 205 .

XIE Y Y ， LIU L ， WU Q W ， et al . Robust model predictive control based voltage regulation method for a distribution system with renewable energy sources and energy storage systems ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 118 ： 105749 .

MORADZADEH M ， BOEL R ， VANDEVELDE L . Voltage coordination in multi-area power systems via distributed model predictive control ［J］. IEEE Transactions on Power Systems ， 2013 ， 28 （ 1 ）： 513 - 521 .

王磊，周建平，朱刘柱，等 . 基于分布式模型预测控制的综合能源系统多时间尺度优化调度［J］. 电力系统自动化， 2021 ， 45 （ 13 ）： 57 - 65 .

WANG Lei ， ZHOU Jianping ， ZHU Liuzhu ， et al . Multi-time-scale optimization scheduling of integrated energy system based on distributed model predictive control ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 13 ）： 57 - 65 .

陈建华，吴文传，张伯明，等 . 消纳大规模风电的热电联产机组滚动调度策略［J］. 电力系统自动化， 2012 ， 36 （ 24 ）： 21 - 27 .

CHEN Jianhua ， WU Wenchuan ， ZHANG Boming ， et al . A rolling generation dispatch strategy for co-generation units accommodating large-scale wind power integration ［J］. Automation of Electric Power Systems ， 2012 ， 36 （ 24 ）： 21 - 27 .

GU W ， WANG Z H ， WU Z ， et al . An online optimal dispatch schedule for CCHP microgrids based on model predictive control ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2332 - 2342 .

BISCHI A ， TACCARI L ， MARTELLI E ， et al . A rolling-horizon optimization algorithm for the long term operational scheduling of cogeneration systems ［J］. Energy ， 2019 ， 184 ： 73 - 90 .

夏鹏，刘文颖，朱丹丹，等 . 基于模型预测控制的多时间尺度无功电压优化控制方法［J］. 电力自动化设备， 2019 ， 39 （ 3 ）： 64 - 70 .

XIA Peng ， LIU Wenying ， ZHU Dandan ， et al . Multi-time scale optimal control method of reactive power and voltage based on model predictive control ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 3 ）： 64 - 70 .

崔挺，李雪萍，颜畅，等 . 基于模型预测控制的风电场故障穿越有功无功优化控制策略［J］. 电力系统保护与控制， 2022 ， 50 （ 2 ）： 12 - 20 .

CUI Ting ， LI Xueping ， YAN Chang ， et al . Active and reactive power optimization control strategy for wind farm fault ride-through based on model predictive control ［J］. Power System Protection and Control ， 2022 ， 50 （ 2 ）： 12 - 20 .

颜湘武，徐韵，李若瑾，等 . 基于模型预测控制含可再生分布式电源参与调控的配电网多时间尺度无功动态优化［J］. 电工技术学报， 2019 ， 34 （ 10 ）： 2022 - 2037 .

YAN Xiangwu ， XU Yun ， LI Ruojin ， et al . Multi-time scale reactive power optimization of distribution grid based on model predictive control and including RDG regulation ［J］. Transactions of China Electrotechnical Society ， 2019 ， 34 （ 10 ）： 2022 - 2037 .

李佩杰，林颂晨，白晓清，等 . 计及配电网三相模型的电动汽车充电滚动时域控制［J］. 中国电机工程学报， 2016 ， 36 （ 17 ）： 4533 - 4543 .

LI Peijie ， LIN Songchen ， BAI Xiaoqing ， et al . Receding-horizon-control-based charging method of electric vehicle considering three-phase model of distribution network ［J］. Proceedings of the CSEE ， 2016 ， 36 （ 17 ）： 4533 - 4543 .

张丙旭，许刚 . 计及需求差异的电动汽车并网滚动时域优化［J］. 电力系统自动化， 2020 ， 44 （ 13 ）： 106 - 114 .

ZHANG Bingxu ， XU Gang . Rolling horizon optimization for grid-connected electric vehicles considering demand difference ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 13 ）： 106 - 114 .

王誉博，龚庆武，乔卉，等 . 考虑电动汽车用户意愿的滚动优化调度［J］. 电力自动化设备， 2022 ， 42 （ 10 ）： 54 - 61 .

WANG Yubo ， GONG Qingwu ， QIAO Hui ， et al . Rolling optimal scheduling considering electric vehicle users’ willingness ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 10 ）： 54 - 61 .

程亦直，张沛超 . 配电网中电动汽车的实时滚动交易式充电管理［J］. 中国电机工程学报， 2019 ， 39 （ 19 ）： 5703 - 5713 .

CHENG Yizhi ， ZHANG Peichao . Real-time rolling transactive charging management of electric vehicles in distribution network ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 19 ）： 5703 - 5713 .

陆展辉，荆朝霞，陈柏柯 . 电力现货市场前瞻优化的周期选择［J］. 电力系统自动化， 2021 ， 45 （ 12 ）： 84 - 91 .

LU Zhanhui ， JING Zhaoxia ， CHEN Baike . Period selection of look-ahead optimization for electricity spot market ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 12 ）： 84 - 91 .

周玮，高垚，彭飞翔，等 . 基于模型预测控制的能源产消者端对端交易策略［J］. 电力系统保护与控制， 2022 ， 50 （ 9 ）： 1 - 10 .

ZHOU Wei ， GAO Yao ， PENG Feixiang ， et al . Peer-to-peer energy trading strategy for prosumers based on model predictive control ［J］. Power System Protection and Control ， 2022 ， 50 （ 9 ）： 1 - 10 .

喻洁，张彤彤，丁恰，等 . 考虑清洁能源消纳的售电商滚动修正月度市场交易策略［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 240 - 247 .

YU Jie ， ZHANG Tongtong ， DING Qia ， et al . Power retailers’ rolling correction trading strategy in monthly market considering clean energy accommodation ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 240 - 247 .

SU J ， LIE T T ， ZAMORA R . A rolling horizon scheduling of aggregated electric vehicles charging under the electricity exchange market ［J］. Applied Energy ， 2020 ， 275 ： 115406 .

闫炯程，李常刚，刘玉田 . 计及源荷不确定性的交直流大电网动态安全分级滚动预警［J］. 电力系统自动化， 2023 ， 47 （ 1 ）： 35 - 43 .

YAN Jiongcheng ， LI Changgang ， LIU Yutian . Graded rolling early warning of dynamic security for large-scale AC/DC power grid considering uncertainties on source and load sides ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 1 ）： 35 - 43 .

KONDA V R ， BORKAR V S . Actor-critic—type learning algorithms for Markov decision processes ［J］. SIAM Journal on Control and Optimization ， 1999 ， 38 （ 1 ）： 94 - 123 .

PETERS J ， SCHAAL S . Natural actor-critic ［J］. Neurocomputing ， 2008 ， 71 （ 7/8/9 ）： 1180 - 1190 .

SEHNKE F ， OSENDORFER C ， RÜCKSTIESS T ， et al . Parameter-exploring policy gradients ［J］. Neural Networks ， 2010 ， 23 （ 4 ）： 551 - 559 .

COBBE K W ， HILTON J ， KLIMOV O ， et al . Phasic policy gradient ［C］// Proceedings of the 38th International Conference on Machine Learning ， July 18-24 ， 2021 .

AJAGEKAR A ， YOU F Q . Deep reinforcement learning based unit commitment scheduling under load and wind power uncertainty ［J］. IEEE Transactions on Sustainable Energy ， 2023 ， 14 （ 2 ）： 803 - 812 .

ZHENG P ， LYU Y Z . A discrete-continuous reinforcement learning algorithm for unit commitment and dispatch problem ［C］// 2022 IEEE International Conference on Unmanned Systems （ICUS）， October 28-30 ， 2022 ， Guangzhou， China ： 465 - 470 .

薛尚青，蔡金锭 . 基于执行依赖启发式动态规划的风电场电压协调控制［J］. 电力自动化设备， 2013 ， 33 （ 1 ）： 110 - 113 .

XUE Shangqing ， CAI Jinding . Coordinated voltage control based on action-dependent heuristic dynamic programming for wind farm ［J］. Electric Power Automation Equipment ， 2013 ， 33 （ 1 ）： 110 - 113 .

周晓华，罗文广，刘胜永，等 . 静止无功补偿器自适应动态规划电压控制方法［J］. 电网技术， 2017 ， 41 （ 3 ）： 895 - 900 .

ZHOU Xiaohua ， LUO Wenguang ， LIU Shengyong ， et al . Voltage control method of static var compensator based on adaptive dynamic programming ［J］. Power System Technology ， 2017 ， 41 （ 3 ）： 895 - 900 .

张波，高远，李铁成，等 . 考虑光伏电源可靠性的新能源配电网数据驱动无功电压优化控制［J/OL］. 中国电机工程学报［ 2023-06-28 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.230415 https://doi.org/10.13334/j.0258-8013.pcsee.230415 .

ZHANG Bo ， GAO Yuan ， LI Tiecheng ， et al . Data-driven voltage/var optimization control of active distribution network considering the reliability of photovoltaic power supply ［J/OL］. Proceedings of the CSEE ［ 2023-06-28 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.230415 https://doi.org/10.13334/j.0258-8013.pcsee.230415 .

HU D E ， YE Z H ， GAO Y Q ， et al . Multi-agent deep reinforcement learning for voltage control with coordinated active and reactive power optimization ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 6 ）： 4873 - 4886 .

YIN L F ， YU T ， YANG B ， et al . Adaptive deep dynamic programming for integrated frequency control of multi-area multi-microgrid systems ［J］. Neurocomputing ， 2019 ， 344 ： 49 - 60 .

SUN J ， ZHU Z Q ， LI H Q ， et al . An integrated critic-actor neural network for reinforcement learning with application of DERs control in grid frequency regulation ［J］. International Journal of Electrical Power & Energy Systems ， 2019 ， 111 ： 286 - 299 .

XIE L L ， LI Y H ， FAN P X ， et al . Research on load frequency control of multi-microgrids in an isolated system based on the multi-agent soft actor-critic algorithm ［J］. IET Renewable Power Generation ， 2024 ， 18 （ 7 ）： 1230 - 1246 .

XIA Y ， XU Y ， WANG Y ， et al . A safe policy learning-based method for decentralized and economic frequency control in isolated networked-microgrid systems ［J］. IEEE Transactions on Sustainable Energy ， 2022 ， 13 （ 4 ）： 1982 - 1993 .

朱振山，陈哲盛，盛明鼎 . 基于柔性行动器-评判器的园区综合能源系统运行优化［J］. 高电压技术， 2022 ， 48 （ 12 ）： 4949 - 4958 .

ZHU Zhenshan ， CHEN Zhesheng ， SHENG Mingding . Operation optimization of park-level integrated energy system based on soft actor-critic ［J］. High Voltage Engineering ， 2022 ， 48 （ 12 ）： 4949 - 4958 .

LI H Y ， QIN B Y ， JIANG Y ， et al . Data-driven optimal scheduling for underground space based integrated hydrogen energy system ［J］. IET Renewable Power Generation ， 2022 ， 16 （ 12 ）： 2521 - 2531 .

HOSSEINI M M ， RODRIGUEZ-GARCIA L ， PARVANIA M . Hierarchical combination of deep reinforcement learning and quadratic programming for distribution system restoration ［J］. IEEE Transactions on Sustainable Energy ， 2023 ， 14 （ 2 ）： 1088 - 1098 .

徐业琰，姚良忠，廖思阳，等 . 基于多智能体Actor-Double-Critic深度强化学习的源-网-荷-储实时优化调度方法研究［J/OL］. 中国电机工程学报［ 2024-03-05 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.231054 https://doi.org/10.13334/j.0258-8013.pcsee.231054 .

XU Yeyan ， YAO Liangzhong ， LIAO Siyang ， et al . Studies on real-time optimal dispatch method of source-grid-load-storage based on multi-agent actor-double-critic deep reinforcement learning ［J/OL］. Proceedings of the CSEE ［ 2024-03-05 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.231054 https://doi.org/10.13334/j.0258-8013.pcsee.231054 .

刘林鹏，朱建全，陈嘉俊，等 . 基于柔性策略-评价网络的微电网源储协同优化调度策略［J］. 电力自动化设备， 2022 ， 42 （ 1 ）： 79 - 85 .

LIU Linpeng ， ZHU Jianquan ， CHEN Jiajun ， et al . Cooperative optimal scheduling strategy of source and storage in microgrid based on soft actor-critic ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 1 ）： 79 - 85 .

袁君 . 基于自适应动态规划的微网能量管理方法研究［D］. 广州：广东工业大学， 2022 .

YUAN Jun . Micro-grid energy management methodologies based on adaptive dynamic programming ［D］. Guangzhou ： Guangdong University of Technology ， 2022 .

LIANG Y C ， DING Z H ， ZHAO T Y ， et al . Real-time operation management for battery swapping-charging system via multi-agent deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 1 ）： 559 - 571 .

刘洋 . 基于自适应动态规划控制策略的混合动力电动汽车能量管理研究［D］. 长春：长春工业大学， 2018 .

LIU Yang . Research on energy management strategy for hybrid electric vehicle based on adaptive dynamic programming algorithm ［D］. Changchun ： Changchun University of Technology ， 2018 .

许德州 . 基于Soft Actor-Critic算法的电动汽车复合储能系统能量管理策略研究［D］. 徐州：中国矿业大学， 2022 .

XU Dezhou . Research on a Soft Actor-Critic algorithmbased energy management strategy for electric vehicles with hybrid energy storage systems ［D］. Xuzhou ： China University of Mining and Technology ， 2022 .

AL ZISHAN A ， HAJI M M ， ARDAKANIAN O . Adaptive congestion control for electric vehicle charging in the smart grid ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 3 ）： 2439 - 2449 .

JIN J L ， XU Y J . Optimal policy characterization enhanced actor-critic approach for electric vehicle charging scheduling in a power distribution network ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 2 ）： 1416 - 1428 .

彭谦，周晓洁，杨睿，等 . 泛在电力物联网环境下综合能源型售电公司参与电力市场竞争的报价策略研究［J］. 电网技术， 2019 ， 43 （ 12 ）： 4337 - 4343 .

PENG Qian ， ZHOU Xiaojie ， YANG Rui ， et al . Bidding strategy of comprehensive energy based power selling company participating in electricity market competition under ubiquitous environment of Internet of Things ［J］. Power System Technology ， 2019 ， 43 （ 12 ）： 4337 - 4343 .

葛晓琳，凡婉秋，符杨，等 . 基于改进柔性策略评价的风火储多主体博弈电能-调频市场联合竞价模型［J］. 电网技术， 2023 ， 47 （ 5 ）： 1920 - 1933 .

GE Xiaolin ， FAN Wanqiu ， FU Yang ， et al . Joint bidding model of electricity and frequency regulation market with wind fire storage multi-agent games based on improved soft actor-critic ［J］. Power System Technology ， 2023 ， 47 （ 5 ）： 1920 - 1933 .

GAJJAR G R ， KHAPARDE S A ， NAGARAJU P ， et al . Application of actor-critic learning algorithm for optimal bidding problem of a Genco ［J］. IEEE Transactions on Power Systems ， 2003 ， 18 （ 1 ）： 11 - 18 .

YE Y J ， PAPADASKALOPOULOS D ， YUAN Q ， et al . Multi-agent deep reinforcement learning for coordinated energy trading and flexibility services provision in local electricity markets ［J］. IEEE Transactions on Smart Grid ， 2023 ， 14 （ 2 ）： 1541 - 1554 .

温可瑞，李卫东，孙乔，等 . 用户侧分布式储能参与一次调频的日内前瞻-值函数近似策略［J］. 电力系统自动化， 2022 ， 46 （ 20 ）： 33 - 42 .

WEN Kerui ， LI Weidong ， SUN Qiao ， et al . Intra-day lookahead-value function approximation strategy of user-side distributed energy storage participating in primary frequency regulation ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 20 ）： 33 - 42 .

田野，李正烁，吴文传 . 计及调节资源AGC动态特性的离散-连续时间随机前瞻经济调度［J］. 中国电机工程学报， 2024 ， 44 （ 7 ）： 79 - 91 .

TIAN Ye ， LI Zhengshuo ， WU Wenchuan . Discrete-continuous-time stochastic look-ahead economic dispatch model considering the dynamic characteristics of agc provided by regulating resources ［J］. Proceedings of the CSEE ， 2024 ， 44 （ 7 ）： 79 - 91 .

AL-KANJ L ， NASCIMENTO J ， POWELL W B . Approximate dynamic programming for planning a ride-hailing system using autonomous fleets of electric vehicles ［J］. European Journal of Operational Research ， 2020 ， 284 （ 3 ）： 1088 - 1106 .

SHUAI H ， AI X M ， WEN J Y ， et al . Hybrid approximate dynamic programming approach for dynamic optimal energy flow in the integrated gas and power systems ［C］// 2017 IEEE Conference on Energy Internet and Energy System Integration （EI2）， November 26-28 ， 2017 ， Beijing， China ： 1 - 6 .

LI Z M ， WU L ， XU Y ， et al . Multi-stage real-time operation of a multi-energy microgrid with electrical and thermal energy storage assets： a data-driven MPC-ADP approach ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 1 ）： 213 - 226 .

WEN K R ， LI W D ， YU S S ， et al . Optimal intra-day operations of behind-the-meter battery storage for primary frequency regulation provision： a hybrid lookahead method ［J］. Energy ， 2022 ， 247 ： 123482 .

NEMIROVSKI A S ， TODD M J . Interior-point methods for optimization ［J］. Acta Numerica ， 2008 ， 17 ： 191 - 234 .

马永杰，云文霞 . 遗传算法研究进展［J］. 计算机应用研究， 2012 ， 29 （ 4 ）： 1201 - 1206 .

MA Yongjie ， YUN Wenxia . Research progress of genetic algorithm ［J］. Application Research of Computers ， 2012 ， 29 （ 4 ）： 1201 - 1206 .

杜慧东，邱婷，朱明泽 . 基于PSO的近似动态规划及其在电机控制中的应用［J］. 黑龙江电力， 2017 ， 39 （ 3 ）： 235 - 239 .

DU Huidong ， QIU Ting ， ZHU Mingze . Approximate dynamic programming based on PSO and its application in motor control ［J］. Heilongjiang Electric Power ， 2017 ， 39 （ 3 ）： 235 - 239 .

王丽萍，孙平，蒋志强，等 . 并行多维动态规划算法在梯级水库优化调度中的应用［J］. 水电能源科学， 2015 ， 33 （ 4 ）： 43 - 47 .

WANG Liping ， SUN Ping ， JIANG Zhiqiang ， et al . Application of parallel multi-dimensional dynamic programming algorithm in cascaded reservoirs optimal operation ［J］. Water Resources and Power ， 2015 ， 33 （ 4 ）： 43 - 47 .

蒋志强，纪昌明，孙平，等 . 多层嵌套动态规划并行算法在梯级水库优化调度中的应用［J］. 中国农村水利水电， 2014 （ 9 ）： 70 - 75 .

JIANG Zhiqiang ， JI Changming ， SUN Ping ， et al . The application of multilayer nested parallel dynamic programming algorithm in cascade reservoirs operation optimization ［J］. China Rural Water and Hydropower ， 2014 （ 9 ）： 70 - 75 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

电力系统全环节碳排放核算方法综述

非常规视角下电力系统抗毁性研究初探

面向电力-交通系统协同运行的建模、求解与应用评述

大扰动下电力系统频率安全概率指标初探