基于深度强化学习的综合能源系统动态经济调度

杨挺; 赵黎媛; 刘亚闯; 冯少康; 盆海波

doi:10.7500/AEPS20200405004

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的综合能源系统动态经济调度

学术研究 | 更新时间：2025-06-16

- 基于深度强化学习的综合能源系统动态经济调度
- Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning
- 电力系统自动化-方正平台 2021年45卷第5期页码：39-47
- 作者机构：
  
  智能电网教育部重点实验室（天津大学），天津市 300072
- 作者简介：
  
  杨挺(1979—)，男，通信作者，博士，教授，主要研究方向：人工智能与大数据、电力信息物理系统。E-mail：yangting@tju.edu.cn
  赵黎媛(1992—)，女，博士研究生，主要研究方向：人工智能、综合能源系统能量管理。E-mail：yuaner_zhao@tju.edu.cn
  刘亚闯(1989—)，男，博士研究生，主要研究方向：电力信息物理系统优化控制。E-mail：liuyachuang@foxmail.com
- 基金信息：
  
  国家自然科学基金资助项目(61971305);国家重点研发计划资助项目(2017YFE0132100);天津市自然科学基金资助项目(19JCQNJC06000)
- DOI：10.7500/AEPS20200405004
  中图分类号：
- 收稿日期：2020-04-05，
  
  修回日期：2020-09-27，
  
  网络出版日期：2020-12-16，
  
  纸质出版日期：2021-03-10
- 稿件说明：
移动端阅览
杨挺,赵黎媛,刘亚闯等.基于深度强化学习的综合能源系统动态经济调度[J].电力系统自动化,2021,45(5):39-47.

YANG Ting,ZHAO Liyuan,LIU Yachuang,et al.Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(5):39-47.
杨挺,赵黎媛,刘亚闯等.基于深度强化学习的综合能源系统动态经济调度[J].电力系统自动化,2021,45(5):39-47. DOI： 10.7500/AEPS20200405004.

YANG Ting,ZHAO Liyuan,LIU Yachuang,et al.Dynamic Economic Dispatch for Integrated Energy System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(5):39-47. DOI： 10.7500/AEPS20200405004.

摘要

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义。然而，系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动，传统的调度方法难以准确地适应实际环境的动态变化。针对这一问题，提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法。首先对综合能源系统动态经济调度问题进行数学描述，然后将该调度决策问题表述为强化学习框架，定义了系统的观测状态、调度动作和奖励函数，继而采用深度确定性策略梯度算法进行连续状态和动作空间下的动态调度决策。所提方法不需要对不确定性进行预测或建模，能够动态地对源和荷的随机波动做出响应。最后通过算例仿真验证了所提方法的有效性。

Abstract

The optimal dispatch of integrated energy systems is of great significance for the realization of multi-energy complementary and economic operation of the system. However

the intermittence of renewable energy and the uncertainty of users’ energy demands in the system cause the random fluctuation on both the supply and demand sides in the system. Traditional dispatch methods are difficult to adapt to the dynamic changes of the actual environment accurately. In accordance to this problem

a dynamic economic dispatch method for integrated energy systems considering the time-varying characteristics of renewable energy and heterogeneous loads is proposed. Firstly

the dynamic economic dispatch problem for integrated energy systems is described mathematically. Secondly

the dispatch decision problem is formulated as a reinforcement learning framework

in which the observation state

dispatch action and reward function of the system are defined. Then

deep deterministic policy gradient (DDPG) algorithm is used to make dynamic dispatch decisions in continuous state and action spaces. The proposed method does not need to predict or model the uncertainty

and can dynamically respond to the random fluctuations of the source and loads. Finally

simulation is carried out to demonstrate the effectiveness of the proposed method.

关键词

Keywords

references

WANG C S ， LV C ， LI P ， et al . Modeling and optimal operation of community integrated energy systems： a case study from China ［J］. Applied Energy ， 2018 ， 230 ： 1242 - 1254 .

YU S W ， HU X ， LI L X ， et al . Does the development of renewable energy promote carbon reduction？ Evidence from Chinese provinces ［J/OL］. Journal of Environmental Management ， 2020 ， 268 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/pii/S0301479720305661 https://www.sciencedirect.com/science/article/pii/S0301479720305661 .

CHEN Z X ， ZHANG Y J ， TANG W H ， et al . Generic modelling and optimal day-ahead dispatch of micro-energy system considering the price-based integrated demand response ［J］. Energy ， 2019 ， 176 ： 171 - 183 .

MASSRUR H R ， NIKNAM T ， AGHAEI J ， et al . Fast decomposed energy flow in large-scale integrated electricity-gas-heat energy systems ［J］. IEEE Transactions on Sustainable Energy ， 2018 ， 9 （ 4 ）： 1565 - 1577 .

李正茂，张峰，梁军，等 . 含电热联合系统的微电网运行优化［J］. 中国电机工程学报， 2015 ， 35 （ 14 ）： 3569 - 3576 .

LI Zhengmao ， ZHANG Feng ， LIANG Jun ， et al . Optimization on microgrid with combined heat and power system ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 14 ）： 3569 - 3576 .

王丹，智云强，贾宏杰，等 . 基于多能源站协调的区域电力-热力系统日前经济调度［J］. 电力系统自动化， 2018 ， 42 （ 13 ）： 59 - 67 .

WANG Dan ， ZHI Yunqiang ， JIA Hongjie ， et al . Day-ahead economic dispatch strategy of regional electricity-heating integrated energy system based on multiple energy stations ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 13 ）： 59 - 67 .

刘洪，陈星屹，李吉峰，等 . 基于改进CPSO算法的区域电热综合能源系统经济调度［J］. 电力自动化设备， 2017 ， 37 （ 6 ）： 193 - 200 .

LIU Hong ， CHEN Xingyi ， LI Jifeng ， et al . Economic dispatch based on improved CPSO algorithm for regional power-heat integrated energy system ［J］. Electric Power Automation Equipment ， 2017 ， 37 （ 6 ）： 193 - 200 .

刘涤尘，马恒瑞，王波，等 . 含冷热电联供及储能的区域综合能源系统运行优化［J］. 电力系统自动化， 2018 ， 42 （ 4 ）： 113 - 120 .

LIU Dichen ， MA Hengrui ， WANG Bo ， et al . Operation optimization of regional integrated energy system with CCHP and energy storage system ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 4 ）： 113 - 120 .

WANG R ， WANG P ， XIAO G X . A robust optimization approach for energy generation scheduling in microgrids ［J］. Energy Conversion and Management ， 2015 ， 106 ： 597 - 607 .

朱嘉远，刘洋，许立雄，等 . 考虑风电消纳的热电联供型微网日前鲁棒经济调度［J］. 电力系统自动化， 2019 ， 43 （ 4 ）： 40 - 51 .

ZHU Jiayuan ， LIU Yang ， XU Lixiong ， et al . Robust day-ahead economic dispatch of microgrid with combined heat and power system considering wind power accommodation ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 4 ）： 40 - 51 .

JIN L C ， KUMAR R ， ELIA N . Model predictive control-based real-time power system protection schemes ［J］. IEEE Transactions on Power Systems ， 2010 ， 25 （ 2 ）： 988 - 998 .

吴鸣，骆钊，季宇，等 . 基于模型预测控制的冷热电联供型微网动态优化调度［J］. 中国电机工程学报， 2017 ， 37 （ 24 ）： 7174 - 7184 .

WU Ming ， LUO Zhao ， JI Yu ， et al . Optimal dynamic dispatch for combined cooling heating and power microgrid based on model predictive control ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 24 ）： 7174 - 7184 .

ZHAO Y ， LU Y H ， YAN C C ， et al . MPC-based optimal scheduling of grid-connected low energy buildings with thermal energy storages ［J］. Energy and Buildings ， 2015 ， 86 ： 415 - 426 .

SUTTON R S ， BARTO A G . Introduction to reinforcement learning ［M］. Cambridge， USA ： MIT Press ， 1998 .

RUELENS F ， CLAESSENS B J ， VANDAEL S ， et al . Residential demand response of thermostatically controlled loads using batch reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2149 - 2159 .

刘洪，李吉峰，葛少云，等 . 基于多主体博弈与强化学习的并网型综合能源微网协调调度［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 40 - 50 .

LIU Hong ， LI Jifeng ， GE Shaoyun ， et al . Coordinated scheduling of grid-connected integrated energy microgrid based on multi-agent game and reinforcement learning ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 40 - 50 .

YANG T ， ZHAO L Y ， LI W ， et al . Reinforcement learning in sustainable energy and electric systems： a survey ［J］. Annual Reviews in Control ， 2020 ， 49 ： 145 - 163 .

FORUZAN E ， SOH L K ， ASGARPOOR S . Reinforcement learning approach for optimal distributed energy management in a microgrid ［J］. IEEE Transactions on Power Systems ， 2018 ， 33 （ 5 ）： 5749 - 5758 .

JI Y ， WANG J H ， XU J C ， et al . Real-time energy management of a microgrid using deep reinforcement learning ［J/OL］. Energies ， 2019 ， 12 （ 12 ）［ 2020-03-20 ］. https：//www.mdpi.com/1996-1073/12/12/22912291 https://www.mdpi.com/1996-1073/12/12/22912291 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2020-03-20 ］. https：//arxiv.org /abs/1509.02971v2 https://arxiv.org/abs/1509.02971v2 .

MOSLEHI S ， REDDY T A . A new quantitative life cycle sustainability assessment framework： application to integrated energy systems ［J］. Applied Energy ， 2019 ， 239 ： 482 - 493 .

YU L ， XIE W W ， XIE D ， et al . Deep reinforcement learning for smart home energy management ［J］. IEEE Internet of Things Journal ， 2020 ， 7 （ 4 ）： 2751 - 2762 .

WAN Z Q ， LI H P ， HE H B ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

LECUN Y ， BENGIO Y ， HINTON G . Deep learning ［J］. Nature ， 2015 ， 521 （ 7553 ）： 436 - 444 .

YE Y J ， QIU D W ， SUN M Y ， et al . Deep reinforcement learning for strategic bidding in electricity markets ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1343 - 1355 .

UHLENBECK G E ， ORNSTEIN L S . On the theory of the Brownian motion ［J］. Physical Review ， 1930 ， 36 （ 5 ）： 823 - 832 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

MCKENNA E ， THOMSON M . High-resolution stochastic integrated thermal-electrical domestic demand model ［J］. Applied Energy ， 2016 ， 165 ： 445 - 461 .

GAN L K ， HUSSAIN A ， HOWEY D A ， et al . Limitations in energy management systems： a case study for resilient interconnected microgrids ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5675 - 5685 .

THOMAS D ， D’HOOP G ， DEBLECKER O ， et al . An integrated tool for optimal energy scheduling and power quality improvement of a microgrid under multiple demand response schemes ［J/OL］. Applied Energy ， 2020 ， 260 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/abs/pii/S030626191932001X https://www.sciencedirect.com/science/article/abs/pii/S030626191932001X .

AYYADI S ， BILIL H ， MAAROUFI M . Optimal charging of electric vehicles in residential area ［J/OL］. Sustainable Energy ， Grids and Networks， 2019 ， 19 ［ 2020-03-20 ］. https：//www.sciencedirect.com/science/article/abs/pii/S2352467719300761 https://www.sciencedirect.com/science/article/abs/pii/S2352467719300761 .

GOODFELLOW I ， BENGIO Y ， COURVILLE A . Deep learning ［M］. Cambridge， USA ： MIT Press ， 2016 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 46 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 46 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

港口能源-物流耦合优化调度模型与方法综述

面向韧性提升的综合能源系统规划与运行调度研究综述

考虑电-碳市场决策协同的园区综合能源系统双层博弈调度

计及最优㶲流的综合能源系统多故障恢复策略

考虑自适应前瞻时间尺度的动态经济调度