Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning

Tian ZHANG; Qi ZHAO; Zhong CHEN; Ruisheng WANG; Qiang XING; Jiang TIAN

doi:10.7500/AEPS20210331010

您当前的位置：

首页 >

文章列表页 >

Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 21, Pages: 149-158(2021)
- 作者机构：
  
  1.东南大学电气工程学院，江苏省南京市 210096
  2.国网江苏省电力有限公司苏州供电分公司，江苏省苏州市 215004
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(SGJSSZ00KJJS2000636)
- DOI：10.7500/AEPS20210331010
  CLC：
- Received：31 March 2021，
  
  Revised：2021-06-24，
  
  Published Online：19 August 2021，
  
  Published：10 November 2021
- 稿件说明：
移动端阅览
张甜,赵奇,陈中等.基于深度强化学习的家庭能量管理分层优化策略[J].电力系统自动化,2021,45(21):149-158.

ZHANG Tian,ZHAO Qi,CHEN Zhong,et al.Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(21):149-158.
张甜,赵奇,陈中等.基于深度强化学习的家庭能量管理分层优化策略[J].电力系统自动化,2021,45(21):149-158. DOI： 10.7500/AEPS20210331010.

ZHANG Tian,ZHAO Qi,CHEN Zhong,et al.Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(21):149-158. DOI： 10.7500/AEPS20210331010.

摘要

为实现需求侧最大效益，提出一种能够应对复杂环境的基于深度强化学习（DRL）的分层能量调度方法。首先，构建家庭能量管理系统（HEMS）双层框架，通过改变第2层储能系统的充放电功率解决第1层因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限，而后根据各用电设备的负荷特性对其进行分类和建模。其次，采用马尔可夫决策过程（MDP）对能量管理问题进行建模，利用奖励函数代替目标函数和约束条件。然后，引入Rainbow算法优化策略以最大化长期收益，实现经济且高效的在线调度。最后，对一个包括光伏板、储能系统、各种用电设备以及电动汽车的家庭进行仿真，验证了所提方法在应对不确定性问题上的有效性和优越性。

Abstract

To achieve the maximum benefit on the demand side

a hierarchical energy scheduling method based on deep reinforcement learning (DRL) that can cope with complex environments is proposed. Firstly

a two-tier framework for the home energy management system (HEMS) is established. By changing the charging and discharging power of the second-tier energy storage system

the power over-limit of the first-tier is solved caused by the concentration of the load to the low-electricity-price period for meeting the power demand of users and reducing the electricity bill. Then

electrical appliances are classified and modeled according to their load characteristics. Secondly

Markov decision process (MDP) is used to model the energy management problem. The reward function is employed to replace objective functions and constraints. Moreover

Rainbow algorithm is introduced to optimize the strategy with the goal of maximizing the long-term benefits and achieving online scheduling economically and efficiently. Finally

a simulation is performed on a residential house

which includes solar panels

an energy storage system

multiple electrical appliances

and an electric vehicle

to verify the effectiveness and superiority of the proposed method in dealing with the uncertain problems.

关键词

Keywords

references

张彦，张涛，刘亚杰，等 . 基于模型预测控制的家庭能源局域网最优能量管理研究［J］. 中国电机工程学报， 2015 ， 35 （ 14 ）： 3656 - 3666 .

ZHANG Yan ， ZHANG Tao ， LIU Yajie ， et al . Optimal energy management of a residential local energy network based on model predictive control ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 14 ）： 3656 - 3666 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

陆青，郁浩，冷亚军，等 . 家庭智能用电任务调度优化模型及其算法研究［J］. 中国电机工程学报， 2018 ， 38 （ 13 ）： 3826 - 3836 .

LU Qing ， YU Hao ， LENG Yajun ， et al . Research on model and algorithm of smart electricity consumption task scheduling optimization in household ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 13 ）： 3826 - 3836 .

王守相，孙智卿，刘喆 . 面向智能用电的家庭能量协同调度策略［J］. 电力系统自动化， 2015 ， 39 （ 17 ）： 108 - 113 .

WANG Shouxiang ， SUN Zhiqing ， LIU Zhe . Co-scheduling strategy of home energy for smart power utilization ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 17 ）： 108 - 113 .

MOLLA T ， KHAN B ， MOGES B ， et al . Integrated energy optimization of smart home appliances with cost-effective energy management system ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 2 （ 5 ）： 249 - 258 .

张华一，文福拴，张璨，等 . 计及舒适度的家庭能源中心运行优化模型［J］. 电力系统自动化， 2016 ， 40 （ 20 ）： 32 - 39 .

ZHANG Huayi ， WEN Fushuan ， ZHANG Can ， et al . Operation optimization model of home energy hubs considering comfort level of customers ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 20 ）： 32 - 39 .

ROH H T ， LEE J W . Residential demand response scheduling with multiclass appliances in the smart grid ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 1 ）： 94 - 104 .

杨挺，赵黎媛，王成山 . 人工智能在电力系统及综合能源系统中的应用综述［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 2 - 14 .

YANG Ting ， ZHAO Liyuan ， WANG Chengshan . Review on application of artificial intelligence in power system and integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 2 - 14 .

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

赵晋泉，夏雪，徐春雷，等 . 新一代人工智能技术在电力系统调度运行中的应用评述［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 1 - 10 .

ZHAO Jinquan ， XIA Xue ， XU Chunlei ， et al . Review on application of new generation artificial intelligence technology in power system dispatching and operation ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 1 - 10 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG ， Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

LU Renzhi ， HONG Seungho ， YU Mengmeng . Demand response for home energy management using reinforcement learning and artificial neural network ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 6 ）： 6629 - 6639 .

XU Xu ， JIA Youwei ， XU Yan ， et al . A multi-agent reinforcement learning-based data-driven method for home energy management ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3201 - 3211 .

ZHOU Suyang ， HU Zijian ， GU Wei ， et al . Artificial intelligence based smart energy community management： a reinforcement learning approach ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 1 （ 5 ）： 1 - 10 .

苏永新，吴泽旋，谭貌，等 . 基于深度强化学习的家庭综合需求响应在线优化［J/OL］. 中国电机工程学报［ 2020-10-07 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html https://kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html .

SU Yongxin ， WU Zexuan ， TAN Mao ， et al . Online optimization for home integrated demand response based on deep reinforcement learning ［J/OL］. Proceedings of the CSEE ［ 2020-10-07 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html https://kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html .

徐弘升，陆继翔，杨志宏，等 . 基于深度强化学习的激励型需求响应决策优化模型［J］. 电力系统自动化， 2021 ， 45 （ 14 ）： 97 - 103 .

XU Hongsheng ， LU Jixiang ， YANG Zhihong ， et al . Decision optimization model of incentive demand response based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 14 ）： 97 - 103 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J/OL］. 电力系统自动化［ 2021-02-24 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy in a microgrid based on deep expected Q network ［J/OL］. Automation of Electric Power Systems ［ 2021-02-24 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html .

梁宏，李鸿鑫，张华赢，等 . 基于深度强化学习的微网储能系统控制策略研究［J/OL］. 电网技术［ 2021-01-07 ］. https：//doi.org/10.13335/j.1000-3673.pst.2020.1754 https://doi.org/10.13335/j.1000-3673.pst.2020.1754 .

LIANG Hong ， LI Hongxin ， ZHANG Huaying ， et al . Research on control strategy of microgrid energy storage system based on deep reinforcement learning ［J/OL］. Power System Technology ［ 2021-01-07 ］. https：//doi.org/10.13335/j.1000-3673.pst.2020.1754 https://doi.org/10.13335/j.1000-3673.pst.2020.1754 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

张禹森，孔祥玉，孙博伟，等 . 基于电力需求响应的多时间尺度家庭能量管理优化策略［J］. 电网技术， 2018 ， 42 （ 6 ）： 1811 - 1819 .

ZHANG Yusen ， KONG Xiangyu ， SUN Bowei ， et al . Multi-time scale home energy management strategy based on electricity demand response ［J］. Power System Technology ， 2018 ， 42 （ 6 ）： 1811 - 1819 .

张勇军，郝金宝 . 考虑用户舒适度补偿的空调负荷优化调度模型［J］. 华南理工大学学报（自然科学版）， 2019 ， 47 （ 3 ）： 1 - 8 .

ZHANG Yongjun ， HAO Jinbao . Air conditioning load optimization dispatching model considering users’ comfort compensation ［J］. Journal of South China University of Technology （Natural Science Edition）， 2019 ， 47 （ 3 ）： 1 - 8 .

REZVANIZANIANI S ， LIU Zongchang ， CHEN Yan ， et al . Review and recent advances in battery health monitoring and prognostics technologies for electric vehicle （EV） safety and mobility ［J］. Journal of Power Sources ， 2014 ， 256 ： 110 - 124 .

傅质馨，李潇逸，朱俊澎，等 . 基于马尔科夫决策过程的家庭能量管理智能优化策略［J］. 电力自动化设备， 2020 ， 40 （ 7 ）： 141 - 152 .

FU Zhixin ， LI Xiaoyi ， ZHU Junpeng ， et al . Intelligent optimization strategy of home energy management based on Markov decision process ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 7 ）： 141 - 152 .

WAN Zhiqiang ， LI Hepeng ， HE Haibo ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

YANG J ， YANG M ， WANG M X ， et al . A deep reinforcement learning method for managing wind farm uncertainties through energy storage system control and external reserve purchasing ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 119 ： 105928 .

高宇，李昀，曹蓉蓉，等 . 基于多代理Double DQN算法模拟发电侧竞价行为［J］. 电网技术， 2020 ， 44 （ 11 ）： 4175 - 4183 .

GAO Yu ， LI Yun ， CAO Rongrong ， et al . Simulation of generators’ bidding behavior based on multi-agent Double DQN ［J］. Power System Technology ， 2020 ， 44 （ 11 ）： 4175 - 4183 .

杜明秋，李妍，王标，等 . 电动汽车充电控制的深度增强学习优化方法［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4042 - 4049 .

DU Mingqiu ， LI Yan ， WANG Biao ， et al . Deep reinforcement learning optimization method for charging control of electric vehicles ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4042 - 4049 .

LIU Yuankun ， ZHANG Dongxia ， GOOI Hoaybeng . Optimization strategy based on deep reinforcement learning for home energy management ［J］. CSEE Journal of Power and Energy Systems ， 2020 ， 3 （ 6 ）： 572 - 582 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Coordinated Charging Strategy Applicable to Large-scale Charging Stations Based on Deep Reinforcement Learning

Deep Reinforcement Learning Approach for Dual-timescale Voltage Management in Distribution System

Prediction and Decision Integrated Scheduling of Energy Storage System in Wind Farm Based on Deep Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

CHEN Guo

WANG Xiuli

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Xi’an Jiaotong University

State Grid Jiangsu Electric Power Co., Ltd. Research Institute

College of Information Engineering, Zhejiang University of Technology

⁰