Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning

Hongsheng XU; Jixiang LU; Zhihong YANG; Yun LI; Jinjun LU; Hua HUANG

doi:10.7500/AEPS20200208001

您当前的位置：

首页 >

文章列表页 >

Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 14, Pages: 97-103(2021)
- 作者机构：
  
  1.南瑞集团有限公司（国网电力科学研究院有限公司），江苏省南京市 211106
  2.智能电网保护与运行控制国家重点实验室，江苏省南京市 211106
- 作者简介：
- 基金信息：
  
  the National Key R&D Program of China;State Grid Corporation of China
- DOI：10.7500/AEPS20200208001
  CLC：
- Received：08 February 2020，
  
  Revised：2021-01-19，
  
  Published Online：25 March 2021，
  
  Published：25 July 2021
- 稿件说明：
移动端阅览
徐弘升,陆继翔,杨志宏等.基于深度强化学习的激励型需求响应决策优化模型[J].电力系统自动化,2021,45(14):97-103.

XU Hongsheng,LU Jixiang,YANG Zhihong,et al.Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(14):97-103.
徐弘升,陆继翔,杨志宏等.基于深度强化学习的激励型需求响应决策优化模型[J].电力系统自动化,2021,45(14):97-103. DOI： 10.7500/AEPS20200208001.

XU Hongsheng,LU Jixiang,YANG Zhihong,et al.Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(14):97-103. DOI： 10.7500/AEPS20200208001.

摘要

随着中国电力市场化改革的推进，售电侧市场逐步开放，售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应。文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法。首先，建立售电商和用户的需求响应模型，通过引入时间-价格弹性，改进现有的用户响应模型，考虑用户对相邻时段补贴价格差的反应。然后，基于马尔可夫决策过程框架构建补贴价格决策优化模型，并设计基于深度Q学习网络的求解算法。最后，以1个售电商和3个不同类型的用户为例进行仿真计算，通过分析算法收敛性和对比不同模型及参数下的优化结果，验证了改进模型的合理性和生成策略的有效性，并分析了激励型需求响应对售电商以及用户的影响。

Abstract

With the advancement of the electricity market reform in China

electricity side market is gradually opening up. The electricity retailers can aggregate a large number of distributed loads to participate in the demand response in the electricity market environment. In this paper

the modeling and solving methods of incentive demand response based on deep reinforcement learning are proposed to maximize the comprehensive profits of both retailers and customers. Firstly

the demand response models for retailers and customers are established. By introducing the time-price elasticity

the recent customer response model is improved

which takes the customer response to the subsidy price difference between adjacent periods into account. Then

based on the Markov decision process framework

an optimization model of subsidy price decision is constructed

and a solution algorithm based on deep Q-learning network is designed. Finally

simulation calculation is performed using one retailer and three different types of customers as examples. By analyzing the convergence of the algorithm and comparing the optimization results of different models and parameters

the rationality of the improved model and the effectiveness of the generated strategy are verified

and the impact of incentive demand response on the retailer and customers is analyzed.

关键词

Keywords

references

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

杨旭英，周明，李庚银 . 智能电网下需求响应机理分析与建模综述［J］. 电网技术， 2016 ， 40 （ 1 ）： 220 - 226 .

YANG Xuying ， ZHOU Ming ， LI Gengyin . Survey on demand response mechanism and modeling in smart grid ［J］. Power System Technology ， 2016 ， 40 （ 1 ）： 220 - 226 .

曾璐琨 . 需求侧聚合负荷协同控制策略研究［D］. 北京：华北电力大学， 2018 .

ZENG Lukun . Research on collaborative control strategy of demand-side aggregated loads ［D］. Beijing ： North China Electric Power University ， 2018 .

张晓萱，薛松，杨素，等 . 售电侧市场放开国际经验及其启示［J］. 电力系统自动化， 2016 ， 40 （ 9 ）： 1 - 8 .

ZHANG Xiaoxuan ， XUE Song ， YANG Su ， et al . International experience and lessons in power sales side market liberalization ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 9 ）： 1 - 8 .

张钦，王锡凡，王建学，等 . 电力市场下需求响应研究综述［J］. 电力系统自动化， 2008 ， 32 （ 3 ）： 97 - 106 .

ZHANG Qin ， WANG Xifan ， WANG Jianxue ， et al . Survey of demand response research in deregulated electricity markets ［J］. Automation of Electric Power Systems ， 2008 ， 32 （ 3 ）： 97 - 106 .

高赐威，董力，孙玲玲，等 . 售电侧放开下的需求响应［J］. 供用电， 2017 ， 34 （ 3 ）： 21 - 25 .

GAO Ciwei ， DONG Li ， SUN Lingling ， et al . Demand response under deregulated electric power retail market ［J］. Distribution & Utilization ， 2017 ， 34 （ 3 ）： 21 - 25 .

沈云帷，李扬，高赐威，等 . 需求响应在电力辅助服务市场中的应用［J］. 电力系统自动化， 2017 ， 41 （ 22 ）： 151 - 161 .

SHEN Yunwei ， LI Yang ， GAO Ciwei ， et al . Application of demand response in ancillary service market ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 22 ）： 151 - 161 .

US Department of Energy . Benefits of demand response in electricity markets and recommendations for achieving them ［R/OL］. ［ 2019-08-05 ］. http：//eetd.lbl.gov http://eetd.lbl.gov .

SHEN B ， GHATIKAR G ， LEI Z ， et al . The role of regulatory reforms， market changes， and technology development to make demand response a viable resource in meeting energy challenges ［J］. Applied Energy ， 2014 ， 130 ： 814 - 823 .

EISSA M . First time real time incentive demand response program in smart grid with “i-Energy” management system with different resources ［J］. Applied Energy ， 2018 ， 212 ： 607 - 621 .

LI Y ， HONG S H . Real-time demand bidding for energy management in discrete manufacturing facilities ［J］. IEEE Transactions on Industrial Electronics ， 2017 ， 64 （ 1 ）： 739 - 749 .

ASADINEJAD A ， TOMSOVIC K . Optimal use of incentive and price based demand response to reduce costs and price volatility ［J］. Electric Power System Research ， 2017 ， 144 ： 215 - 223 .

WEITZEL T ， GLOCK C H . Scheduling a storage-augmented discrete production facility under incentive-based demand response ［J］. International Journal of Production Research ， 2019 ， 57 （ 1 ）： 250 - 270 .

YU M ， HONG S H . Incentive-based demand response considering hierarchical electricity market： a Stackelberg game approach ［J］. Applied Energy ， 2017 ， 203 ： 267 - 279 .

KIRSCHEN D S ， STRBAC G ， CUMPERAYOT P ， et al . Factoring the elasticity of demand in electricity prices ［J］. IEEE Transactions on Power Systems ， 2000 ， 15 （ 2 ）： 612 - 617 .

MOGHADDAM M P ， ABDOLLAHI A ， RASHIDINEJAD M . Flexible demand response programs modeling in competitive electricity markets ［J］. Applied Energy ， 2011 ， 88 ： 3257 - 3269 .

秦祯芳，岳顺民，余贻鑫，等 . 零售端电力市场中的电量电价弹性矩阵［J］. 电力系统自动化， 2004 ， 28 （ 5 ）： 16 - 19 .

QIN Zhenfang ， YUE Shunmin ， YU Yixin ， et al . Price elasticity matrix of demand in current retail power market ［J］. Automation of Electric Power Systems ， 2004 ， 28 （ 5 ）： 16 - 19 .

陈雨果，张轩，罗刚，等 . 用户报量不报价模式下电力现货市场需求响应机制与方法［J］. 电力系统自动化， 2019 ， 43 （ 9 ）： 179 - 186 .

CHEN Yuguo ， ZHANG Xuan ， LUO Gang ， et al . Demand response mechanism and approach of electricity spot market in bidding mode without price on user side ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 9 ）： 179 - 186 .

孔祥玉，张禹森，杨世海，等 . 市场机制下考虑风险的售电公司日前电价决策方法［J］. 电网技术， 2019 ， 43 （ 3 ）： 935 - 943 .

KONG Xiangyu ， ZHANG Yusen ， YANG Shihai ， et al . Day-ahead pricing decision method considering risk of electricity selling company under market mechanism ［J］. Power Systems Technology ， 2019 ， 43 （ 3 ）： 935 - 943 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 2018 .

WEN Z ， ONEILL D ， MAEI H . Optimal demand response using device-based reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 5 ）： 2312 - 2324 .

RUELENS F ， CLAESSENS B J ， VANDAEL S ， et al . Residential demand response of thermostatically controlled loads using batch reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2149 - 2159 .

KIM B ， ZHANG Y ， SCHAAR M ， et al . Dynamic pricing and energy consumption scheduling with reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 5 ）： 2187 - 2198 .

BARTO A G ， MAHADEVAN S . Recent advances in hierarchical reinforcement learning ［J］. Discrete Event Dynamic Systems ， 2003 ， 13 （ 1/2 ）： 41 - 77 .

LU R ， HONG S H . Incentive-based demand response for smart grid with reinforcement learning and deep neural network ［J］. Applied Energy ， 2019 ， 236 ： 937 - 949 .

冯小峰，谢添阔，高赐威，等 . 电力现货市场下计及售电商长期收益的需求侧响应［J］. 电网技术， 2019 ， 43 （ 8 ）： 2761 - 2769 .

FENG Xiaofeng ， XIE Tiankuo ， GAO Ciwei ， et al . A demand side response strategy considering long-term revenue of electricity retailer in electricity spot market ［J］. Power System Technology ， 2019 ， 43 （ 8 ）： 2761 - 2769 .

ARULKUMARAN K ， DEISENROTH M P ， BRUNDAGE M ， et al . Deep reinforcement learning： a brief survey ［J］. IEEE Signal Process Magazine ， 2017 ， 34 （ 6 ）： 26 - 38 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

SILVER D ， HUANG A ， MADDISON C J ， et al . Mastering the game of go with deep neural networks and tree search ［J］. Nature ， 2016 ， 529 （ 7587 ）： 484 - 489 .

赵冬斌，邵坤，朱圆恒，等 . 深度强化学习综述：兼论计算机围棋的发展［J］. 控制理论与应用， 2016 ， 33 （ 6 ）： 701 - 717 .

ZHAO Dongbin ， SHAO Kun ， ZHU Yuanheng ， et al . Review of deep reinforcement learning and discussions on the development of computer go ［J］. Control Theory & Applications ， 2016 ， 33 （ 6 ）： 701 - 717 .

李晖，康重庆，夏清，等 . 考虑用户满意度的需求侧管理价格决策模型［J］. 电网技术， 2004 ， 28 （ 23 ）： 5 - 10 .

LI Hui ， KANG Chongqing ， XIA Qing ， et al . Price based decision making for demand side management considering customer satisfaction index ［J］. Power System Technology ， 2004 ， 28 （ 23 ）： 5 - 10 .

YU M ， HONG S H ， DING Y ， et al . An incentive-based demand response （DR） model considering composited DR resources ［J］. IEEE Transaction on Industrial Electronics ， 2019 ， 66 （ 2 ）： 1488 - 1498 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Advances in Neural Information Processing Systems ， 2012 ， 1 ： 1097 - 1105 .

LU R ， HONG S H ， ZHANG X . A dynamic pricing demand response algorithm for smart grid： reinforcement learning approach ［J］. Applied Energy ， 2018 ， 220 ： 220 - 230 .

ASADINEJAD A ， TOMSOVIC K ， CHEN C ， et al . Sensitivity of incentive based demand response program to residential customer elasticity ［C］// 2016 North American Power Symposium （NAPS）， September 18-20 ， 2016 ， Denver， USA .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

SUN Jian

LIAO Kai

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

School of Electric Power Engineering, South China University of Technology

College of Engineering, Shantou University

⁰