Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning

Ting YANG; Liyuan ZHAO; Yachuang LIU; Shaokang FENG; Haibo PEN

doi:10.7500/AEPS20200405004

您当前的位置：

首页 >

文章列表页 >

Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 5, Pages: 39-47(2021)
- 作者机构：
  
  智能电网教育部重点实验室（天津大学），天津市 300072
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China;National Key R&D Program of China;Natural Science Foundation of Tianjin, China
- DOI：10.7500/AEPS20200405004
  CLC：
- Received：05 April 2020，
  
  Revised：2020-09-27，
  
  Published Online：16 December 2020，
  
  Published：10 March 2021
- 稿件说明：
移动端阅览
杨挺,赵黎媛,刘亚闯等.基于深度强化学习的综合能源系统动态经济调度[J].电力系统自动化,2021,45(5):39-47.

YANG Ting,ZHAO Liyuan,LIU Yachuang,et al.Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(5):39-47.
杨挺,赵黎媛,刘亚闯等.基于深度强化学习的综合能源系统动态经济调度[J].电力系统自动化,2021,45(5):39-47. DOI： 10.7500/AEPS20200405004.

YANG Ting,ZHAO Liyuan,LIU Yachuang,et al.Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(5):39-47. DOI： 10.7500/AEPS20200405004.

摘要

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义。然而，系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动，传统的调度方法难以准确地适应实际环境的动态变化。针对这一问题，提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法。首先对综合能源系统动态经济调度问题进行数学描述，然后将该调度决策问题表述为强化学习框架，定义了系统的观测状态、调度动作和奖励函数，继而采用深度确定性策略梯度算法进行连续状态和动作空间下的动态调度决策。所提方法不需要对不确定性进行预测或建模，能够动态地对源和荷的随机波动做出响应。最后通过算例仿真验证了所提方法的有效性。

Abstract

The optimal dispatch of integrated energy systems is of great significance for the realization of multi-energy complementary and economic operation of the system. However

the intermittence of renewable energy and the uncertainty of users’ energy demands in the system cause the random fluctuation on both the supply and demand sides in the system. Traditional dispatch methods are difficult to adapt to the dynamic changes of the actual environment accurately. In accordance to this problem

a dynamic economic dispatch method for integrated energy systems considering the time-varying characteristics of renewable energy and heterogeneous loads is proposed. Firstly

the dynamic economic dispatch problem for integrated energy systems is described mathematically. Secondly

the dispatch decision problem is formulated as a reinforcement learning framework

in which the observation state

dispatch action and reward function of the system are defined. Then

deep deterministic policy gradient (DDPG) algorithm is used to make dynamic dispatch decisions in continuous state and action spaces. The proposed method does not need to predict or model the uncertainty

and can dynamically respond to the random fluctuations of the source and loads. Finally

simulation is carried out to demonstrate the effectiveness of the proposed method.

关键词

Keywords

references

WANG C S ， LV C ， LI P ， et al . Modeling and optimal operation of community integrated energy systems： a case study from China ［J］. Applied Energy ， 2018 ， 230 ： 1242 - 1254 .

YU S W ， HU X ， LI L X ， et al . Does the development of renewable energy promote carbon reduction？ Evidence from Chinese provinces ［J/OL］. Journal of Environmental Management ， 2020 ， 268 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/pii/S0301479720305661 https://www.sciencedirect.com/science/article/pii/S0301479720305661 .

CHEN Z X ， ZHANG Y J ， TANG W H ， et al . Generic modelling and optimal day-ahead dispatch of micro-energy system considering the price-based integrated demand response ［J］. Energy ， 2019 ， 176 ： 171 - 183 .

MASSRUR H R ， NIKNAM T ， AGHAEI J ， et al . Fast decomposed energy flow in large-scale integrated electricity-gas-heat energy systems ［J］. IEEE Transactions on Sustainable Energy ， 2018 ， 9 （ 4 ）： 1565 - 1577 .

李正茂，张峰，梁军，等 . 含电热联合系统的微电网运行优化［J］. 中国电机工程学报， 2015 ， 35 （ 14 ）： 3569 - 3576 .

LI Zhengmao ， ZHANG Feng ， LIANG Jun ， et al . Optimization on microgrid with combined heat and power system ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 14 ）： 3569 - 3576 .

王丹，智云强，贾宏杰，等 . 基于多能源站协调的区域电力-热力系统日前经济调度［J］. 电力系统自动化， 2018 ， 42 （ 13 ）： 59 - 67 .

WANG Dan ， ZHI Yunqiang ， JIA Hongjie ， et al . Day-ahead economic dispatch strategy of regional electricity-heating integrated energy system based on multiple energy stations ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 13 ）： 59 - 67 .

刘洪，陈星屹，李吉峰，等 . 基于改进CPSO算法的区域电热综合能源系统经济调度［J］. 电力自动化设备， 2017 ， 37 （ 6 ）： 193 - 200 .

LIU Hong ， CHEN Xingyi ， LI Jifeng ， et al . Economic dispatch based on improved CPSO algorithm for regional power-heat integrated energy system ［J］. Electric Power Automation Equipment ， 2017 ， 37 （ 6 ）： 193 - 200 .

刘涤尘，马恒瑞，王波，等 . 含冷热电联供及储能的区域综合能源系统运行优化［J］. 电力系统自动化， 2018 ， 42 （ 4 ）： 113 - 120 .

LIU Dichen ， MA Hengrui ， WANG Bo ， et al . Operation optimization of regional integrated energy system with CCHP and energy storage system ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 4 ）： 113 - 120 .

WANG R ， WANG P ， XIAO G X . A robust optimization approach for energy generation scheduling in microgrids ［J］. Energy Conversion and Management ， 2015 ， 106 ： 597 - 607 .

朱嘉远，刘洋，许立雄，等 . 考虑风电消纳的热电联供型微网日前鲁棒经济调度［J］. 电力系统自动化， 2019 ， 43 （ 4 ）： 40 - 51 .

ZHU Jiayuan ， LIU Yang ， XU Lixiong ， et al . Robust day-ahead economic dispatch of microgrid with combined heat and power system considering wind power accommodation ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 4 ）： 40 - 51 .

JIN L C ， KUMAR R ， ELIA N . Model predictive control-based real-time power system protection schemes ［J］. IEEE Transactions on Power Systems ， 2010 ， 25 （ 2 ）： 988 - 998 .

吴鸣，骆钊，季宇，等 . 基于模型预测控制的冷热电联供型微网动态优化调度［J］. 中国电机工程学报， 2017 ， 37 （ 24 ）： 7174 - 7184 .

WU Ming ， LUO Zhao ， JI Yu ， et al . Optimal dynamic dispatch for combined cooling heating and power microgrid based on model predictive control ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 24 ）： 7174 - 7184 .

ZHAO Y ， LU Y H ， YAN C C ， et al . MPC-based optimal scheduling of grid-connected low energy buildings with thermal energy storages ［J］. Energy and Buildings ， 2015 ， 86 ： 415 - 426 .

SUTTON R S ， BARTO A G . Introduction to reinforcement learning ［M］. Cambridge， USA ： MIT Press ， 1998 .

RUELENS F ， CLAESSENS B J ， VANDAEL S ， et al . Residential demand response of thermostatically controlled loads using batch reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2149 - 2159 .

刘洪，李吉峰，葛少云，等 . 基于多主体博弈与强化学习的并网型综合能源微网协调调度［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 40 - 50 .

LIU Hong ， LI Jifeng ， GE Shaoyun ， et al . Coordinated scheduling of grid-connected integrated energy microgrid based on multi-agent game and reinforcement learning ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 40 - 50 .

YANG T ， ZHAO L Y ， LI W ， et al . Reinforcement learning in sustainable energy and electric systems： a survey ［J］. Annual Reviews in Control ， 2020 ， 49 ： 145 - 163 .

FORUZAN E ， SOH L K ， ASGARPOOR S . Reinforcement learning approach for optimal distributed energy management in a microgrid ［J］. IEEE Transactions on Power Systems ， 2018 ， 33 （ 5 ）： 5749 - 5758 .

JI Y ， WANG J H ， XU J C ， et al . Real-time energy management of a microgrid using deep reinforcement learning ［J/OL］. Energies ， 2019 ， 12 （ 12 ）［ 2020-03-20 ］. https：//www.mdpi.com/1996-1073/12/12/22912291 https://www.mdpi.com/1996-1073/12/12/22912291 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2020-03-20 ］. https：//arxiv.org /abs/1509.02971v2 https://arxiv.org/abs/1509.02971v2 .

MOSLEHI S ， REDDY T A . A new quantitative life cycle sustainability assessment framework： application to integrated energy systems ［J］. Applied Energy ， 2019 ， 239 ： 482 - 493 .

YU L ， XIE W W ， XIE D ， et al . Deep reinforcement learning for smart home energy management ［J］. IEEE Internet of Things Journal ， 2020 ， 7 （ 4 ）： 2751 - 2762 .

WAN Z Q ， LI H P ， HE H B ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 - 444 .

YE Y J ， QIU D W ， SUN M Y ， et al . Deep reinforcement learning for strategic bidding in electricity markets ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1343 - 1355 .

UHLENBECK G E ， ORNSTEIN L S . On the theory of the Brownian motion ［J］. Physical Review ， 1930 ， 36 （ 5 ）： 823 - 832 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

MCKENNA E ， THOMSON M . High-resolution stochastic integrated thermal-electrical domestic demand model ［J］. Applied Energy ， 2016 ， 165 ： 445 - 461 .

GAN L K ， HUSSAIN A ， HOWEY D A ， et al . Limitations in energy management systems： a case study for resilient interconnected microgrids ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5675 - 5685 .

THOMAS D ， D’HOOP G ， DEBLECKER O ， et al . An integrated tool for optimal energy scheduling and power quality improvement of a microgrid under multiple demand response schemes ［J/OL］. Applied Energy ， 2020 ， 260 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/abs/pii/S030626191932001X https://www.sciencedirect.com/science/article/abs/pii/S030626191932001X .

AYYADI S ， BILIL H ， MAAROUFI M . Optimal charging of electric vehicles in residential area ［J/OL］. Sustainable Energy ， Grids and Networks， 2019 ， 19 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/abs/pii/S2352467719300761 https://www.sciencedirect.com/science/article/abs/pii/S2352467719300761 .

GOODFELLOW I ， BENGIO Y ， COURVILLE A . Deep learning ［M］. Cambridge， USA ： MIT Press ， 2016 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 46 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 46 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Review on Energy-Logistics Coupled Optimal Dispatching Models and Methods for Port

Research Review of Planning and Operation Dispatch of Integrated Energy System for Resilience Enhancement

Bi-level Game Dispatch of Park Integrated Energy System Considering Decision-making Synergy of Electricity-Carbon Markets

Multi-fault Recovery Strategy for Integrated Energy System Considering Optimal Exergy Flow

Dynamic Economic Dispatch Considering Adaptive Look-ahead Time Scale

Related Author

LI Hao

TAI Nengling

YU Moduo

WANG Jie

HUANG Wentao

HUANG Yiwen

REN Hongbo

ZHANG Yuchen

Related Institution

School of Smart Energy, Shanghai Jiao Tong University

Key Laboratory of Control of Power Transmission and Conversion (Ministry of Education)

College of Energy and Mechanical Engineering, Shanghai University of Electric Power

Shanghai Non-carbon Energy Conversion and Utilization Institute

College of Electrical Engineering and Automation, Shandong University of Science and Technology

⁰