Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning

HOU Hui; HE Ziyin; CHEN Yue; HOU Tingting; TANG Jinrui; WU Xixiu

doi:10.7500/AEPS20230428001

您当前的位置：

首页 >

文章列表页 >

Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 21, Pages: 47-57(2023)
- 作者机构：
  
  1.武汉理工大学自动化学院，湖北省武汉市 430070
  2.国网湖北省电力有限公司十堰供电公司，湖北省十堰市 442000
  3.国网湖北省电力有限公司经济技术研究院，湖北省武汉市 430077
  4.武汉理工大学深圳研究院，广东省深圳市 518000
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52177110)
- DOI：10.7500/AEPS20230428001
  CLC：
- Received：28 April 2023，
  
  Revised：2023-07-13，
  
  Published Online：28 September 2023，
  
  Published：10 November 2023
- 稿件说明：
移动端阅览
侯慧,何梓姻,陈跃等.基于深度强化学习区间多目标优化的智能建筑低碳优化调度[J].电力系统自动化,2023,47(21):47-57.

HOU Hui,HE Ziyin,CHEN Yue,et al.Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(21):47-57.
侯慧,何梓姻,陈跃等.基于深度强化学习区间多目标优化的智能建筑低碳优化调度[J].电力系统自动化,2023,47(21):47-57. DOI： 10.7500/AEPS20230428001.

HOU Hui,HE Ziyin,CHEN Yue,et al.Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(21):47-57. DOI： 10.7500/AEPS20230428001.

摘要

为充分挖掘并有效利用建筑的节能减排潜力，提出基于深度强化学习区间多目标优化的智能建筑低碳优化调度方法。首先，采取区间数等方法对系统中机组参数、建筑温度及源荷多重不确定性等进行建模。其次，计及系统碳排放与碳交易机制，以综合运行成本最低及用户舒适度最优为目标，优化系统运行。为解决区间多目标优化问题，提出一种将深度强化学习的深度Q网络与区间多目标粒子群优化算法耦合，进行“离线训练”与“在线指导”的新型多目标优化算法，高效求解多重不确定性因素下的智能建筑低碳优化调度问题。算例结果表明，所提深度强化学习区间多目标优化算法及调度模型能兼顾系统低碳性、经济性与用户舒适性等，同时有效提高系统应对多重不确定性因素的能力。

Abstract

In order to fully tap and effectively utilize the energy saving and emission reduction potential of buildings

a low-carbon optimal dispatch method of smart buildings based on interval multi-objective optimization with deep reinforcement learning is proposed. Firstly

the unit parameters

building temperature and multiple uncertainties of source and load in the system are modeled by using interval number and other methods. Secondly

taking into account the system carbon emission and carbon trading mechanism

the system operation is optimized with the goal of the lowest comprehensive operation cost and the best user comfort. In order to solve the interval multi-objective optimization problem

a new multi-objective optimization algorithm is proposed

which combines deep Q network of deep reinforcement learning and interval multi-objective particle swarm optimization algorithm

and performs “offline training” and “online guidance” to efficiently solve the low-carbon optimization dispatch problem of smart buildings under multiple uncertainties. The case results show that the proposed interval multi-objective optimization algorithm with deep reinforcement learning and dispatch model can take into account the low carbon

economy and user comfort of the system

and effectively improve the ability of the system to deal with multiple uncertainties.

关键词

Keywords

references

清华大学建筑节能研究中心 . 中国建筑节能年度发展研究报告2022（公共建筑专题）［M］. 北京：中国建筑工业出版社， 2022 .

Building Energy Conservation Research Center of Tsinghua University . China building energy efficiency annual development research report 2022 （public building special topic）［M］. Beijing ： China Architecture and Construction Press ， 2022 .

TANG H ， WANG S W . A model-based predictive dispatch strategy for unlocking and optimizing the building energy flexibilities of multiple resources in electricity markets of multiple services ［J］. Applied Energy ， 2022 ， 305 ： 117889 .

HUANG S ， YE Y Y ， WU D ， et al . An assessment of power flexibility from commercial building cooling systems in the United States ［J］. Energy ， 2021 ， 221 ： 119571 .

刘洪，王亦然，李积逊，等 . 考虑建筑热平衡与柔性舒适度的乡村微能源网电热联合调度［J］. 电力系统自动化， 2019 ， 43 （ 9 ）： 50 - 58 .

LIU Hong ， WANG Yiran ， LI Jixun ， et al . Coordinated heat and power dispatch of micro-energy network of countryside considering heat balance model of building and flexible indoor comfort constraint ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 9 ）： 50 - 58 .

ZHAO P ， HENZE G P ， BRANDEMUEHL M J ， et al . Dynamic frequency regulation resources of commercial buildings through combined building system resources using a supervisory control methodology ［J］. Energy and Buildings ， 2015 ， 86 ： 137 - 150 .

HAO H ， SANANDAJI B M ， POOLLA K ， et al . Potentials and economics of residential thermal loads providing regulation reserve ［J］. Energy Policy ， 2015 ， 79 ： 115 - 126 .

葛少云，刘静仪，刘洪，等 . 需求响应机制下含建筑虚拟储能的能源站经济调度［J］. 电力系统自动化， 2020 ， 44 （ 4 ）： 35 - 43 .

GE Shaoyun ， LIU Jingyi ， LIU Hong ， et al . Economic dispatch of energy station with building virtual energy storage in demand response mechanism ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 4 ）： 35 - 43 .

WANG Y B ， QUAN Z H ， JING H R ， et al . Performance and operation strategy optimization of a new dual-source building energy supply system with heat pumps and energy storage ［J］. Energy Conversion and Management ， 2021 ， 239 ： 114204 .

WU D ， LIAN J M ， SUN Y N ， et al . Hierarchical control framework for integrated coordination between distributed energy resources and demand response ［J］. Electric Power Systems Research ， 2017 ， 150 ： 45 - 54 .

MEHRJERDI H . Simultaneous load leveling and voltage profile improvement in distribution networks by optimal battery storage planning ［J］. Energy ， 2019 ， 181 ： 916 - 926 .

HOU H ， WANG Q ， XIAO Z F ， et al . Data-driven economic dispatch for islanded micro-grid considering uncertainty and demand response ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 136 ： 107623 .

AKBARI-DIBAVAR A ， NOJAVAN S ， MOHAMMADI-IVATLOO B ， et al . Smart home energy management using hybrid robust-stochastic optimization ［J］. Computers & Industrial Engineering ， 2020 ， 143 ： 106425 .

ZHANG Y ， WANG J X ， ZENG B ， et al . Chance-constrained two-stage unit commitment under uncertain load and wind power output using bilinear Benders decomposition ［J］. IEEE Transactions on Power Systems ， 2017 ， 32 （ 5 ）： 3637 - 3647 .

FAZLALIPOUR P ， EHSAN M ， MOHAMMADI-IVATLOO B . Risk-aware stochastic bidding strategy of renewable micro-grids in day-ahead and real-time markets ［J］. Energy ， 2019 ， 171 ： 689 - 700 .

HOU H ， XUE M Y ， XU Y ， et al . Multi-objective economic dispatch of a microgrid considering electric vehicle and transferable load ［J］. Applied Energy ， 2020 ， 262 ： 114489 .

LUO L ， ABDULKAREEM S S ， REZVANI A ， et al . Optimal scheduling of a renewable based microgrid considering photovoltaic system and battery energy storage under uncertainty ［J］. Journal of Energy Storage ， 2020 ， 28 ： 101306 .

KARIMI H ， JADID S . Optimal energy management for multi-microgrid considering demand response programs： a stochastic multi-objective framework ［J］. Energy ， 2020 ， 195 ： 116992 .

YANG J ， SU C Q . Robust optimization of microgrid based on renewable distributed power generation and load demand uncertainty ［J］. Energy ， 2021 ， 223 ： 120043 .

JABR R A ， DŽAFIĆ I ， PAL B C . Robust optimization of storage investment on transmission networks ［J］. IEEE Transactions on Power Systems ， 2015 ， 30 （ 1 ）： 531 - 539 .

LIU X R ， HOU M ， SUN S L ， et al . Multi-time scale optimal scheduling of integrated electricity and district heating systems considering thermal comfort of users： an enhanced-interval optimization method ［J］. Energy ， 2022 ， 254 ： 124311 .

ZOU B ， PENG J Q ， YIN R X ， et al . Capacity configuration of distributed photovoltaic and battery system for office buildings considering uncertainties ［J］. Applied Energy ， 2022 ， 319 ： 119243 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 14 - 22 .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy for microgrid based on deep expected Q network algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 14 - 22 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

叶林，裴铭，路朋，等 . 基于天气分型的短期光伏功率组合预测方法［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 44 - 54 .

YE Lin ， PEI Ming ， LU Peng ， et al . Combination forecasting method of short-term photovoltaic power based on weather classification ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 44 - 54 .

王育飞，付玉超，薛花 . 计及太阳辐射和混沌特征提取的光伏发电功率DMCS-WNN预测法［J］. 中国电机工程学报， 2019 ， 39 （增刊1 ）： 63 - 71 .

WANG Yufei ， FU Yuchao ， XUE Hua . DMCS-WNN prediction method of photovoltaic power generation by considering solar radiation and chaotic feature extraction ［J］. Proceedings of the CSEE ， 2019 ， 39 （ Supplement 1 ）： 63 - 71 .

杨锡运，张艳峰，叶天泽，等 . 基于朴素贝叶斯的风电功率组合概率区间预测［J］. 高电压技术， 2020 ， 46 （ 3 ）： 1099 - 1108 .

YANG Xiyun ， ZHANG Yanfeng ， YE Tianze ， et al . Prediction of combination probability interval of wind power based on naive Bayes ［J］. High Voltage Engineering ， 2020 ， 46 （ 3 ）： 1099 - 1108 .

王泽森，石岩，唐艳梅，等 . 考虑LCA能源链与碳交易机制的综合能源系统低碳经济运行及能效分析［J］. 中国电机工程学报， 2019 ， 39 （ 6 ）： 1614 - 1626 .

WANG Zesen ， SHI Yan ， TANG Yanmei ， et al . Low carbon economy operation and energy efficiency analysis of integrated energy systems considering LCA energy chain and carbon trading mechanism ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 6 ）： 1614 - 1626 .

SABER A Y ， VENAYAGAMOORTHY G K . Plug-in vehicles and renewable energy sources for cost and emission reductions ［J］. IEEE Transactions on Industrial Electronics ， 2011 ， 58 （ 4 ）： 1229 - 1238 .

DU H ， LIAN Z W ， LAI D Y ， et al . Evaluation of the accuracy of PMV and its several revised models using the Chinese thermal comfort database ［J］. Energy and Buildings ， 2022 ， 271 ： 112334 .

HOU H ， CHEN Y ， LIU P ， et al . Multisource energy storage system optimal dispatch among electricity hydrogen and heat networks from the energy storage operator prospect ［J］. IEEE Transactions on Industry Applications ， 2022 ， 58 （ 2 ）： 2825 - 2835 .

PJM . Data miner 2 ［EB/OL］. ［ 2022-12-27 ］. https：//dataminer2.pjm.com https://dataminer2.pjm.com .

GUO S Y ， YAN D ， HU S ， et al . Modelling building energy consumption in China under different future scenarios ［J］. Energy ， 2021 ， 214 ： 119063 .

刘晟 . 区间多目标优化直接方法及其工程应用［D］. 长沙：湖南大学， 2020 .

LIU Sheng . Direct method of interval multi-objective optimization and its engineering application ［D］. Changsha ： Hunan University ， 2020 .

侯慧，王晴，赵波，等 . 关键信息缺失下基于相空间重构及机器学习的电力负荷预测［J］. 电力系统保护与控制， 2022 ， 50 （ 4 ）： 75 - 82 .

HOU Hui ， WANG Qing ， ZHAO Bo ， et al . Power load forecasting without key information based on phase space reconstruction and machine learning ［J］. Power System Protection and Control ， 2022 ， 50 （ 4 ）： 75 - 82 .

李国庆，刘钊，金国彬，等 . 基于随机分布式嵌入框架及BP神经网络的超短期电力负荷预测［J］. 电网技术， 2020 ， 44 （ 2 ）： 437 - 445 .

LI Guoqing ， LIU Zhao ， JIN Guobin ， et al . Ultra short-term power load forecasting based on randomly distributive embedded framework and BP neural network ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 437 - 445 .

王琛，王颖，郑涛，等 . 基于ResNet-LSTM网络和注意力机制的综合能源系统多元负荷预测［J］. 电工技术学报， 2022 ， 37 （ 7 ）： 1789 - 1799 .

WANG Chen ， WANG Ying ， ZHENG Tao ， et al . Multi-energy load forecasting in integrated energy system based on ResNet-LSTM network and attention mechanism ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 7 ）： 1789 - 1799 .

ERTUGRUL Ö F . Forecasting electricity load by a novel recurrent extreme learning machines approach ［J］. International Journal of Electrical Power & Energy Systems ， 2016 ， 78 ： 429 - 435 .

陈纬楠，胡志坚，岳菁鹏，等 . 基于长短期记忆网络和LightGBM组合模型的短期负荷预测［J］. 电力系统自动化， 2021 ， 45 （ 4 ）： 91 - 97 .

CHEN Weinan ， HU Zhijian ， YUE Jingpeng ， et al . Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 4 ）： 91 - 97 .

CHEN Y B ， XU P ， CHU Y Y ， et al . Short-term electrical load forecasting using the support vector regression （SVR） model to calculate the demand response baseline for office buildings ［J］. Applied Energy ， 2017 ， 195 ： 659 - 670 .

庞传军，余建明，张波，等 . 基于梯度提升树计及非线性的电力负荷影响因素分析［J］. 电力系统保护与控制， 2020 ， 48 （ 24 ）： 71 - 78 .

PANG Chuanjun ， YU Jianming ， ZHANG Bo ， et al . Nonlinear correlation analysis of influence factors of a power load based on a gradient boosting decision tree ［J］. Power System Protection and Control ， 2020 ， 48 （ 24 ）： 71 - 78 .

侯慧，王晴，薛梦雅，等 . 计及源荷不确定性及需求响应的离网型微电网两阶段日前经济调度［J］. 电力系统保护与控制， 2022 ， 50 （ 13 ）： 73 - 85 .

HOU Hui ， WANG Qing ， XUE Mengya ， et al . Two-stage economic day-ahead dispatch of an islanded microgrid considering uncertainty and demand response ［J］. Power System Protection and Control ， 2022 ， 50 （ 13 ）： 73 - 85 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Optimal Configuration Method for Park-level Integrated Energy System Based on Information Gap Decision Theory-Utility Entropy

Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning

Self-adaptive Uncertainty Economic Dispatch Based on Deep Reinforcement Learning

Related Author

MU Yunfei

WU Zhijun

WANG Congshan

YU Xiaodan

JIA Hongjie

ZHANG Yun

Hang LI

Guojie LI

Related Institution

Key Laboratory of Smart Grid of Ministry of Education (Tianjin University)

Key Laboratory of Smart Energy & Information Technology of Tianjin Municipality (Tianjin University)

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education (Shanghai Jiao Tong University)

School of Electrical Engineering and Automation, Wuhan University

Key Laboratory of Smart Grid of Ministry of Education(Tianjin University)

⁰