Real-time Autonomous Optimal Energy Management Strategy for Residents Based on Deep Reinforcement Learning

Yujian YE; Huiyu WANG; Yi TANG; Goran STRBAC

doi:10.7500/AEPS20210628001

您当前的位置：

首页 >

文章列表页 >

Real-time Autonomous Optimal Energy Management Strategy for Residents Based on Deep Reinforcement Learning

Special Topic on Data-Driven Methods for Modernizing Power Systems | 更新时间：2025-06-16

- Real-time Autonomous Optimal Energy Management Strategy for Residents Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 46, Issue 1, Pages: 110-119(2022)
- 作者机构：
  
  1.东南大学电气工程学院，江苏省南京市 210096
  2.伦敦帝国理工学院电气与电子工程系，伦敦 SW72AZ，英国
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51877037)
- DOI：10.7500/AEPS20210628001
  CLC：
- Received：28 June 2021，
  
  Revised：2021-10-12，
  
  Published Online：10 November 2021，
  
  Published：10 January 2022
- 稿件说明：
移动端阅览
叶宇剑,王卉宇,汤奕等.基于深度强化学习的居民实时自治最优能量管理策略[J].电力系统自动化,2022,46(1):110-119.

YE Yujian,WANG Huiyu,TANG Yi,et al.Real-time Autonomous Optimal Energy Management Strategy for Residents Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(1):110-119.
叶宇剑,王卉宇,汤奕等.基于深度强化学习的居民实时自治最优能量管理策略[J].电力系统自动化,2022,46(1):110-119. DOI： 10.7500/AEPS20210628001.

YE Yujian,WANG Huiyu,TANG Yi,et al.Real-time Autonomous Optimal Energy Management Strategy for Residents Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2022,46(1):110-119. DOI： 10.7500/AEPS20210628001.

摘要

随着居民分布式资源的普及，如何考虑用户多类型设备的运行特性，满足实时自治能量管理需求以达到用户侧经济性最优成为亟待解决的课题。传统基于模型的最优化方法在模型精准构建和应对多重不确定性等方面存在局限性，为此提出一种无模型的基于深度强化学习的实时自治能量管理优化方法。首先，对用户设备进行分类，采用统一的三元组描述其运行特性，并确定相应的能量管理动作；接着，采用长短期记忆神经网络提取环境状态中多源时序数据的未来走势；进而，基于近端策略优化算法，赋能在多维连续-离散混合的动作空间中高效学习最优能量管理策略，在最小化用电成本的同时提升策略对不确定性的适应性；最后，通过实际情境对比现有方法的优化决策效果，验证所提方法的有效性。

Abstract

Alongside the wide proliferation of distributed energy resources at the residential sector

how to meet the needs of real-time autonomous energy management while considering the heterogeneous operating characteristics of these resources so as to maximize the utility for residential end-users deserves significant research attention. In this area

conventional model-based optimization methods are generally burdened with inaccurate system modeling and inability to efficiently deal with uncertainties stemmed from multiple sources. In order to address these challenges

this paper proposes a model-free method based on deep reinforcement learning to achieve real-time autonomous energy management optimization. First

the user's resources are classified into different categories

their operating characteristics are then described using a unified 3-element tuple

and the associated energy management actions are also identified. Next

the long short-term memory neural network is employed to extract the future trends of multi-source sequential data from the environment states. Then

based on the proximal policy optimization algorithm

it enables efficient learning of the optimal energy management policies in the multi-dimensional continuous-discrete mixed action space

which can adaptively adjust to system uncertainties towards the user's electricity cost minimization objective. Finally

the effectiveness of the proposed method is verified by benchmarking its performance against several existing methods through case studies on an actual scenario.

关键词

Keywords

references

刘念，余星火，王剑辉，等 . 泛在物联的配用电优化运行：信息物理社会系统的视角［J］. 电力系统自动化， 2020 ， 44 （ 1 ）： 1 - 12 .

LIU Nian ， YU Xinghuo ， WANG Jianhui ， et al . Optimal operation of power distribution and consumption system based on ubiquitous internet of things： a cyber-physical-social system perspective ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 1 ）： 1 - 12 .

孙宏斌，郭庆来，潘昭光 . 能源互联网：理念、架构与前沿展望［J］. 电力系统自动化， 2015 ， 39 （ 19 ）： 1 - 8 .

SUN Hongbin ， GUO Qinglai ， PAN Zhaoguang . Energy internet： concept， architecture and frontier outlook ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 19 ）： 1 - 8 .

齐宁，程林，田立亭，等 . 考虑柔性负荷接入的配电网规划研究综述与展望［J］. 电力系统自动化， 2020 ， 44 （ 10 ）： 193 - 207 .

QI Ning ， CHENG Lin ， TIAN Liting ， et al . Review and prospect of distribution network planning research considering access of flexible load ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 10 ）： 193 - 207 .

傅质馨，李潇逸，朱俊澎，等 . 基于马尔科夫决策过程的家庭能量管理智能优化策略［J］. 电力自动化设备， 2020 ， 40 （ 7 ）： 141 - 152 .

FU Zhixin ， LI Xiaoyi ， ZHU Junpeng ， et al . Intelligent optimization strategy of home energy management based on Markov decision process ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 7 ）： 141 - 152 .

PATERAKIS N ， ERDINC O ， BAKIRTZIS A ， et al . Optimal household appliances scheduling under day-ahead pricing and load-shaping demand response strategies ［J］. IEEE Transactions on Industrial Informatics ， 2015 ， 11 （ 6 ）： 1509 - 1519 .

ANVARI-MOGHADDAM A ， MONSEF H ， RAHIMI-KIAN A . Optimal smart home energy management considering energy saving and a comfortable lifestyle ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 11 ）： 324 - 332 .

陈中，李云倩，冷钊莹，等 . 典型家用大功率负载精细化建模及能量管理策略［J］. 电力系统自动化， 2018 ， 42 （ 22 ）： 135 - 143 .

CHEN Zhong ， LI Yunqian ， LENG Zhaoying ， et al . Refined modeling and energy management strategy of typical household high-power loads ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 22 ）： 135 - 143 .

孙毅，李泽坤，许鹏，等 . 异构柔性负荷建模调控关键技术及发展方向研究［J］. 中国电机工程学报， 2019 ， 39 （ 24 ）： 7146 - 7158 .

SUN Yi ， LI Zekun ， XU Peng ， et al . Research on key technologies and development direction of heterogeneous flexible load modeling and regulation ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 24 ）： 7146 - 5178 .

SU W ， WANG J ， ROH J . Stochastic energy scheduling in microgrids with intermittent renewable energy resources ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 4 ）： 1876 - 1883 .

DU Y ， JIANG L ， LI Y ， et al . A robust optimization approach for demand side scheduling under energy consumption uncertainty of manually operated appliances ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 2 ）： 743 - 755 .

于丹文，杨明，翟鹤峰，等 . 鲁棒优化在电力系统调度决策中的应用研究综述［J］. 电力系统自动化， 2016 ， 40 （ 7 ）： 134 - 143 .

YU Danwen ， YANG Ming ， ZHAI Hefeng ， et al . An overview of robust optimization used for power system dispatch and decision-making ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 7 ）： 134 - 143 .

张彦，张涛，刘亚杰，等 . 基于模型预测控制的家庭能源局域网最优能量管理研究［J］. 中国电机工程学报， 2015 ， 35 （ 14 ）： 3656 - 3666 .

ZHANG Yan ， ZHANG Tao ， LIU Yajie ， et al . Optimal energy management of a residential local energy network based on model predictive control ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 14 ）： 3656 - 3666 .

张禹森，孔祥玉，孙博伟，等 . 基于电力需求响应的多时间尺度家庭能量管理优化策略［J］. 电网技术， 2018 ， 42 （ 6 ）： 1811 - 1819 .［J］.电网技术，2018， 42 （ 6 ）： 1811 - 1819 .

ZHANG Yusen ， KONG Xiangyu ， SUN Bowei ， et al . Multi-timescale home energy management strategy based on electricity demand response ［J］. Power System Technology ， 2018 ， 42 （ 6 ）： 1811 - 1819 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 194 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 194 .

苏永新，吴泽旋，谭貌，等 . 基于深度强化学习的家庭综合需求响应在线优化［J］. 中国电机工程学报， 2021 ， 41 （ 16 ）： 5581 - 5593 .

SU Yongxin ， WU Zexuan ， TAN Mao ， et al . Online optimization for home integrated demand response based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 16 ）： 5581 - 5593 .

张甜，陈中，赵奇，等 . 基于深度强化学习的家庭能量管理分层优化策略［J］. 电力系统自动化， 2021 ， 45 （ 21 ）： 149 - 158 .

ZHANG Tian ， CHEN Zhong ， ZHAO Qi ， et al . Hierarchical optimization strategy for home energy management based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 21 ）： 149 - 158 .

刘建伟，高峰，罗雄麟 . 基于值函数和策略梯度的深度强化学习综述［J］. 计算机学报， 2019 ， 42 （ 6 ）： 1406 - 1438 .

LIU Jianwei ， GAO Feng ， LUO Xionglin . Survey of deep reinforcement learning based on value function and policy gradient ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 6 ）： 1406 - 1438 .

MOCANU E ， MOCANU D C ， NGUYEN P H ， et al . On-line building energy optimization using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 3698 - 3708 .

YE Y ， QIU D ， WU X ， et al . Model-free real-time autonomous control for a residential multi-energy system using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3068 - 3082 .

CHUNG H M ， MAHARJAN S ， ZHANG Y ， et al . Distributed deep reinforcement learning for intelligent load scheduling in residential smart grids ［J］. IEEE Transactions on Industrial Informatics ， 2020 ， 17 （ 4 ）： 2752 - 2763 .

周磊，李扬 . 分时电价环境下基于家居能量管理系统的家居负荷建模与优化运行［J］. 电网技术， 2015 ， 39 （ 2 ）： 367 - 374 .

ZHOU Lei ， LI Yang . Modeling and optimal dispatch for residential load based on home energy management system under time-of-use pricing ［J］. Power System Technology ， 2015 ， 39 （ 2 ）： 367 - 374 .

DU Y ， JIANG L ， DUAN C ， et al . Energy consumption scheduling of HVAC considering weather forecast error through the distributionally robust approach ［J］. IEEE Transactions on Industrial Informatics ， 2018 ， 14 （ 3 ）： 846 - 857 .

李航，李国杰，汪可友 . 基于深度强化学习的电动汽车实时调度策略［J］. 电力系统自动化， 2020 ， 44 （ 22 ）： 161 - 167 .

LI Hang ， LI Guojie ， WANG Keyou . Real-time dispatch strategy for electric vehicles based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 22 ）： 161 - 167 .

REMANI T ， JASMIN E A ， AHAMED T . Residential load scheduling with renewable generation in the smart grid： a reinforcement learning approach ［J］. IEEE Systems Journal ， 2019 ， 13 （ 3 ）： 3283 - 3294 .

YE Y ， PAPADASKALOPOULOS D ， STRBAC G ， et al . Factoring flexible demand non-convexities in electricity markets ［J］. IEEE Transactions on Power Systems ， 2015 ， 30 （ 4 ）： 2090 - 2099 .

GREFF K ， SRIVASTAVA R K ， KOUTNÍK J ， et al . LSTM： a search space odyssey ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2017 ， 28 （ 10 ）： 2222 - 2232 .

KONG W ， DONG Z ， JIA Y ， et al . Short-term residential load forecasting based on LSTM recurrent neural network ［J］. IEEE Transactions on Power Systems ， 2019 ， 10 （ 1 ）： 841 - 851 .

PEND L ， LIU S ， LIU R ， et al . Effective long short-term memory with differential evolution algorithm for electricity price prediction ［J］. Energy ， 2018 ， 162 （ 1 ）： 1301 - 1314 .

SCHULMAN J ， LEVINE S ， MORITZ P ， et al . Trust region policy optimization ［C］// International Conference on Machine Learning ， July 7-9 ， 2015 ， Lille， France ： 1889 - 1897 .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. ［ 2021-07-05 ］. https：//arxiv.org/pdf/1707.06347.pdf https://arxiv.org/pdf/1707.06347.pdf .

IEEE dataport dataset ［DB/OL］. ［ 2021-05-26 ］. https：//dx.doi.org/10.21227/80dj-hs08 https://dx.doi.org/10.21227/80dj-hs08 .

Time of use pricing ［EB/OL］. ［ 2020-04-27 ］. https：//www.ausgrid.com.au/Your-energy-use/Meters/Time-of-use https://www.ausgrid.com.au/Your-energy-use/Meters/Time-of-use .

Solar rebates and feed-in tariffs ［EB/OL］. ［ 2020-04-28 ］. https：//www.energyaustralia.com.au/home/electricity-and-gas/solar-power/feed-in-tariffs https://www.energyaustralia.com.au/home/electricity-and-gas/solar-power/feed-in-tariffs .

叶宇剑，袁泉，汤奕，等 . 抑制柔性负荷过响应的微网分散式调控参数优化［J/OL］. 中国电机工程学报： 1 - 13 ［ 2021-09-01 ］. http：//kns.cnki.net/kcms/detail/11.2107.TM.20210629.1741.015.html http://kns.cnki.net/kcms/detail/11.2107.TM.20210629.1741.015.html .

YE Yujian ， YUAN Quan ， TANG Yi ， et al . Decentralized coordination parameters optimization in microgrids mitigating demand response synchronization effect of flexible loads ［J/OL］. Proceedings of the CSEE ： 1 - 13 ［ 2021-09-01 ］. http：//kns.cnki.net/kcms/detail/11.2107.TM.20210629.1741.015.html http://kns.cnki.net/kcms/detail/11.2107.TM.20210629.1741.015.html .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

SUN Jian

LIAO Kai

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

School of Electric Power Engineering, South China University of Technology

College of Engineering, Shantou University

⁰