基于深度强化学习的家庭能量管理分层优化策略

张甜; 赵奇; 陈中; 王瑞升; 邢强; 田江

doi:10.7500/AEPS20210331010

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的家庭能量管理分层优化策略

学术研究 | 更新时间：2025-06-16

- 基于深度强化学习的家庭能量管理分层优化策略
- Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning
- 电力系统自动化 2021年45卷第21期页码：149-158
- 作者机构：
  
  1.东南大学电气工程学院，江苏省南京市 210096
  2.国网江苏省电力有限公司苏州供电分公司，江苏省苏州市 215004
- 作者简介：
  
  张甜（1997—），女，硕士，主要研究方向：家庭能量管理、人工智能。E-mail：TianZhangseu@163.com
  赵奇（1989—），男，工程师，主要研究方向：配电网故障隔离、电力系统态势感知。E-mail：qzhao1989@163.com
  陈中（1975—），男，通信作者，教授，博士生导师，主要研究方向：电力系统稳定与控制、电动汽车与电网互动等。E-mail：zhongchen@seu.edu.cn
- 基金信息：
  
  国家电网公司科技项目(SGJSSZ00KJJS2000636)
- DOI：10.7500/AEPS20210331010
  中图分类号：
- 收稿日期：2021-03-31，
  
  修回日期：2021-06-24，
  
  网络出版日期：2021-08-19，
  
  纸质出版日期：2021-11-10
- 稿件说明：
移动端阅览
张甜,赵奇,陈中等.基于深度强化学习的家庭能量管理分层优化策略[J].电力系统自动化,2021,45(21):149-158.

ZHANG Tian,ZHAO Qi,CHEN Zhong,et al.Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(21):149-158.
张甜,赵奇,陈中等.基于深度强化学习的家庭能量管理分层优化策略[J].电力系统自动化,2021,45(21):149-158. DOI： 10.7500/AEPS20210331010.

ZHANG Tian,ZHAO Qi,CHEN Zhong,et al.Hierarchical Optimization Strategy for Home Energy Management Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(21):149-158. DOI： 10.7500/AEPS20210331010.

摘要

为实现需求侧最大效益，提出一种能够应对复杂环境的基于深度强化学习（DRL）的分层能量调度方法。首先，构建家庭能量管理系统（HEMS）双层框架，通过改变第2层储能系统的充放电功率解决第1层因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限，而后根据各用电设备的负荷特性对其进行分类和建模。其次，采用马尔可夫决策过程（MDP）对能量管理问题进行建模，利用奖励函数代替目标函数和约束条件。然后，引入Rainbow算法优化策略以最大化长期收益，实现经济且高效的在线调度。最后，对一个包括光伏板、储能系统、各种用电设备以及电动汽车的家庭进行仿真，验证了所提方法在应对不确定性问题上的有效性和优越性。

Abstract

To achieve the maximum benefit on the demand side

a hierarchical energy scheduling method based on deep reinforcement learning (DRL) that can cope with complex environments is proposed. Firstly

a two-tier framework for the home energy management system (HEMS) is established. By changing the charging and discharging power of the second-tier energy storage system

the power over-limit of the first-tier is solved caused by the concentration of the load to the low-electricity-price period for meeting the power demand of users and reducing the electricity bill. Then

electrical appliances are classified and modeled according to their load characteristics. Secondly

Markov decision process (MDP) is used to model the energy management problem. The reward function is employed to replace objective functions and constraints. Moreover

Rainbow algorithm is introduced to optimize the strategy with the goal of maximizing the long-term benefits and achieving online scheduling economically and efficiently. Finally

a simulation is performed on a residential house

which includes solar panels

an energy storage system

multiple electrical appliances

and an electric vehicle

to verify the effectiveness and superiority of the proposed method in dealing with the uncertain problems.

关键词

Keywords

references

张彦，张涛，刘亚杰，等 . 基于模型预测控制的家庭能源局域网最优能量管理研究［J］. 中国电机工程学报， 2015 ， 35 （ 14 ）： 3656 - 3666 .

ZHANG Yan ， ZHANG Tao ， LIU Yajie ， et al . Optimal energy management of a residential local energy network based on model predictive control ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 14 ）： 3656 - 3666 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

陆青，郁浩，冷亚军，等 . 家庭智能用电任务调度优化模型及其算法研究［J］. 中国电机工程学报， 2018 ， 38 （ 13 ）： 3826 - 3836 .

LU Qing ， YU Hao ， LENG Yajun ， et al . Research on model and algorithm of smart electricity consumption task scheduling optimization in household ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 13 ）： 3826 - 3836 .

王守相，孙智卿，刘喆 . 面向智能用电的家庭能量协同调度策略［J］. 电力系统自动化， 2015 ， 39 （ 17 ）： 108 - 113 .

WANG Shouxiang ， SUN Zhiqing ， LIU Zhe . Co-scheduling strategy of home energy for smart power utilization ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 17 ）： 108 - 113 .

MOLLA T ， KHAN B ， MOGES B ， et al . Integrated energy optimization of smart home appliances with cost-effective energy management system ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 2 （ 5 ）： 249 - 258 .

张华一，文福拴，张璨，等 . 计及舒适度的家庭能源中心运行优化模型［J］. 电力系统自动化， 2016 ， 40 （ 20 ）： 32 - 39 .

ZHANG Huayi ， WEN Fushuan ， ZHANG Can ， et al . Operation optimization model of home energy hubs considering comfort level of customers ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 20 ）： 32 - 39 .

ROH H T ， LEE J W . Residential demand response scheduling with multiclass appliances in the smart grid ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 1 ）： 94 - 104 .

杨挺，赵黎媛，王成山 . 人工智能在电力系统及综合能源系统中的应用综述［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 2 - 14 .

YANG Ting ， ZHAO Liyuan ， WANG Chengshan . Review on application of artificial intelligence in power system and integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 2 - 14 .

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

赵晋泉，夏雪，徐春雷，等 . 新一代人工智能技术在电力系统调度运行中的应用评述［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 1 - 10 .

ZHAO Jinquan ， XIA Xue ， XU Chunlei ， et al . Review on application of new generation artificial intelligence technology in power system dispatching and operation ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 1 - 10 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG ， Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

LU Renzhi ， HONG Seungho ， YU Mengmeng . Demand response for home energy management using reinforcement learning and artificial neural network ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 6 ）： 6629 - 6639 .

XU Xu ， JIA Youwei ， XU Yan ， et al . A multi-agent reinforcement learning-based data-driven method for home energy management ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3201 - 3211 .

ZHOU Suyang ， HU Zijian ， GU Wei ， et al . Artificial intelligence based smart energy community management： a reinforcement learning approach ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 1 （ 5 ）： 1 - 10 .

苏永新，吴泽旋，谭貌，等 . 基于深度强化学习的家庭综合需求响应在线优化［J/OL］. 中国电机工程学报［ 2020-10-07 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html https://kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html .

SU Yongxin ， WU Zexuan ， TAN Mao ， et al . Online optimization for home integrated demand response based on deep reinforcement learning ［J/OL］. Proceedings of the CSEE ［ 2020-10-07 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html https://kns.cnki.net/kcms/detail/11.2107.TM.20201026.1820.007.html .

徐弘升，陆继翔，杨志宏，等 . 基于深度强化学习的激励型需求响应决策优化模型［J］. 电力系统自动化， 2021 ， 45 （ 14 ）： 97 - 103 .

XU Hongsheng ， LU Jixiang ， YANG Zhihong ， et al . Decision optimization model of incentive demand response based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 14 ）： 97 - 103 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J/OL］. 电力系统自动化［ 2021-02-24 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy in a microgrid based on deep expected Q network ［J/OL］. Automation of Electric Power Systems ［ 2021-02-24 ］. https：//kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html https://kns.cnki.net/kcms/detail/32.1180.TP.20210224.1417.002.html .

梁宏，李鸿鑫，张华赢，等 . 基于深度强化学习的微网储能系统控制策略研究［J/OL］. 电网技术［ 2021-01-07 ］. https：//doi.org/10.13335/j.1000-3673.pst.2020.1754 https://doi.org/10.13335/j.1000-3673.pst.2020.1754 .

LIANG Hong ， LI Hongxin ， ZHANG Huaying ， et al . Research on control strategy of microgrid energy storage system based on deep reinforcement learning ［J/OL］. Power System Technology ［ 2021-01-07 ］. https：//doi.org/10.13335/j.1000-3673.pst.2020.1754 https://doi.org/10.13335/j.1000-3673.pst.2020.1754 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

张禹森，孔祥玉，孙博伟，等 . 基于电力需求响应的多时间尺度家庭能量管理优化策略［J］. 电网技术， 2018 ， 42 （ 6 ）： 1811 - 1819 .

ZHANG Yusen ， KONG Xiangyu ， SUN Bowei ， et al . Multi-time scale home energy management strategy based on electricity demand response ［J］. Power System Technology ， 2018 ， 42 （ 6 ）： 1811 - 1819 .

张勇军，郝金宝 . 考虑用户舒适度补偿的空调负荷优化调度模型［J］. 华南理工大学学报（自然科学版）， 2019 ， 47 （ 3 ）： 1 - 8 .

ZHANG Yongjun ， HAO Jinbao . Air conditioning load optimization dispatching model considering users’ comfort compensation ［J］. Journal of South China University of Technology （Natural Science Edition）， 2019 ， 47 （ 3 ）： 1 - 8 .

REZVANIZANIANI S ， LIU Zongchang ， CHEN Yan ， et al . Review and recent advances in battery health monitoring and prognostics technologies for electric vehicle （EV） safety and mobility ［J］. Journal of Power Sources ， 2014 ， 256 ： 110 - 124 .

傅质馨，李潇逸，朱俊澎，等 . 基于马尔科夫决策过程的家庭能量管理智能优化策略［J］. 电力自动化设备， 2020 ， 40 （ 7 ）： 141 - 152 .

FU Zhixin ， LI Xiaoyi ， ZHU Junpeng ， et al . Intelligent optimization strategy of home energy management based on Markov decision process ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 7 ）： 141 - 152 .

WAN Zhiqiang ， LI Hepeng ， HE Haibo ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

YANG J ， YANG M ， WANG M X ， et al . A deep reinforcement learning method for managing wind farm uncertainties through energy storage system control and external reserve purchasing ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 119 ： 105928 .

高宇，李昀，曹蓉蓉，等 . 基于多代理Double DQN算法模拟发电侧竞价行为［J］. 电网技术， 2020 ， 44 （ 11 ）： 4175 - 4183 .

GAO Yu ， LI Yun ， CAO Rongrong ， et al . Simulation of generators’ bidding behavior based on multi-agent Double DQN ［J］. Power System Technology ， 2020 ， 44 （ 11 ）： 4175 - 4183 .

杜明秋，李妍，王标，等 . 电动汽车充电控制的深度增强学习优化方法［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4042 - 4049 .

DU Mingqiu ， LI Yan ， WANG Biao ， et al . Deep reinforcement learning optimization method for charging control of electric vehicles ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4042 - 4049 .

LIU Yuankun ， ZHANG Dongxia ， GOOI Hoaybeng . Optimization strategy based on deep reinforcement learning for home energy management ［J］. CSEE Journal of Power and Energy Systems ， 2020 ， 3 （ 6 ）： 572 - 582 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

适用于大规模充电场站的深度强化学习有序充电策略

配电系统双时间尺度电压管理的深度强化学习方法

基于深度强化学习的风电场储能系统预测决策一体化调度