基于深度强化学习的激励型需求响应决策优化模型

徐弘升; 陆继翔; 杨志宏; 李昀; 陆进军; 黄华

doi:10.7500/AEPS20200208001

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的激励型需求响应决策优化模型

学术研究 | 更新时间：2025-06-16

- 基于深度强化学习的激励型需求响应决策优化模型
- Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning
- 电力系统自动化 2021年45卷第14期页码：97-103
- 作者机构：
  
  1.南瑞集团有限公司（国网电力科学研究院有限公司），江苏省南京市 211106
  2.智能电网保护与运行控制国家重点实验室，江苏省南京市 211106
- 作者简介：
  
  徐弘升(1987—)，男，通信作者，博士，高级工程师，主要研究方向：强化学习、深度学习与电力大数据分析。E-mail：xuhongsheng@sgepri.sgcc.com.cn
  陆继翔(1973—)，男，正高级工程师，主要研究方向：人工智能与电网调度。E-mail：lujixiang@sgepri.sgcc.com.cn
  杨志宏(1968—)，男，教授级高级工程师，主要研究方向：电网调控自动化和变电站自动化。E-mail：yangzhihong@sgepri.sgcc.com.cn
- 基金信息：
  
  国家重点研发计划资助项目(2018AAA0101504);国家电网公司科技项目(5700-202019364A-0-0-00)
- DOI：10.7500/AEPS20200208001
  中图分类号：
- 收稿日期：2020-02-08，
  
  修回日期：2021-01-19，
  
  网络出版日期：2021-03-25，
  
  纸质出版日期：2021-07-25
- 稿件说明：
移动端阅览
徐弘升,陆继翔,杨志宏等.基于深度强化学习的激励型需求响应决策优化模型[J].电力系统自动化,2021,45(14):97-103.

XU Hongsheng,LU Jixiang,YANG Zhihong,et al.Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(14):97-103.
徐弘升,陆继翔,杨志宏等.基于深度强化学习的激励型需求响应决策优化模型[J].电力系统自动化,2021,45(14):97-103. DOI： 10.7500/AEPS20200208001.

XU Hongsheng,LU Jixiang,YANG Zhihong,et al.Decision Optimization Model of Incentive Demand Response Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(14):97-103. DOI： 10.7500/AEPS20200208001.

摘要

随着中国电力市场化改革的推进，售电侧市场逐步开放，售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应。文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法。首先，建立售电商和用户的需求响应模型，通过引入时间-价格弹性，改进现有的用户响应模型，考虑用户对相邻时段补贴价格差的反应。然后，基于马尔可夫决策过程框架构建补贴价格决策优化模型，并设计基于深度Q学习网络的求解算法。最后，以1个售电商和3个不同类型的用户为例进行仿真计算，通过分析算法收敛性和对比不同模型及参数下的优化结果，验证了改进模型的合理性和生成策略的有效性，并分析了激励型需求响应对售电商以及用户的影响。

Abstract

With the advancement of the electricity market reform in China

electricity side market is gradually opening up. The electricity retailers can aggregate a large number of distributed loads to participate in the demand response in the electricity market environment. In this paper

the modeling and solving methods of incentive demand response based on deep reinforcement learning are proposed to maximize the comprehensive profits of both retailers and customers. Firstly

the demand response models for retailers and customers are established. By introducing the time-price elasticity

the recent customer response model is improved

which takes the customer response to the subsidy price difference between adjacent periods into account. Then

based on the Markov decision process framework

an optimization model of subsidy price decision is constructed

and a solution algorithm based on deep Q-learning network is designed. Finally

simulation calculation is performed using one retailer and three different types of customers as examples. By analyzing the convergence of the algorithm and comparing the optimization results of different models and parameters

the rationality of the improved model and the effectiveness of the generated strategy are verified

and the impact of incentive demand response on the retailer and customers is analyzed.

关键词

Keywords

references

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

杨旭英，周明，李庚银 . 智能电网下需求响应机理分析与建模综述［J］. 电网技术， 2016 ， 40 （ 1 ）： 220 - 226 .

YANG Xuying ， ZHOU Ming ， LI Gengyin . Survey on demand response mechanism and modeling in smart grid ［J］. Power System Technology ， 2016 ， 40 （ 1 ）： 220 - 226 .

曾璐琨 . 需求侧聚合负荷协同控制策略研究［D］. 北京：华北电力大学， 2018 .

ZENG Lukun . Research on collaborative control strategy of demand-side aggregated loads ［D］. Beijing ： North China Electric Power University ， 2018 .

张晓萱，薛松，杨素，等 . 售电侧市场放开国际经验及其启示［J］. 电力系统自动化， 2016 ， 40 （ 9 ）： 1 - 8 .

ZHANG Xiaoxuan ， XUE Song ， YANG Su ， et al . International experience and lessons in power sales side market liberalization ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 9 ）： 1 - 8 .

张钦，王锡凡，王建学，等 . 电力市场下需求响应研究综述［J］. 电力系统自动化， 2008 ， 32 （ 3 ）： 97 - 106 .

ZHANG Qin ， WANG Xifan ， WANG Jianxue ， et al . Survey of demand response research in deregulated electricity markets ［J］. Automation of Electric Power Systems ， 2008 ， 32 （ 3 ）： 97 - 106 .

高赐威，董力，孙玲玲，等 . 售电侧放开下的需求响应［J］. 供用电， 2017 ， 34 （ 3 ）： 21 - 25 .

GAO Ciwei ， DONG Li ， SUN Lingling ， et al . Demand response under deregulated electric power retail market ［J］. Distribution & Utilization ， 2017 ， 34 （ 3 ）： 21 - 25 .

沈云帷，李扬，高赐威，等 . 需求响应在电力辅助服务市场中的应用［J］. 电力系统自动化， 2017 ， 41 （ 22 ）： 151 - 161 .

SHEN Yunwei ， LI Yang ， GAO Ciwei ， et al . Application of demand response in ancillary service market ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 22 ）： 151 - 161 .

US Department of Energy . Benefits of demand response in electricity markets and recommendations for achieving them ［R/OL］. ［ 2019-08-05 ］. http：//eetd.lbl.gov http://eetd.lbl.gov .

SHEN B ， GHATIKAR G ， LEI Z ， et al . The role of regulatory reforms， market changes， and technology development to make demand response a viable resource in meeting energy challenges ［J］. Applied Energy ， 2014 ， 130 ： 814 - 823 .

EISSA M . First time real time incentive demand response program in smart grid with “i-Energy” management system with different resources ［J］. Applied Energy ， 2018 ， 212 ： 607 - 621 .

LI Y ， HONG S H . Real-time demand bidding for energy management in discrete manufacturing facilities ［J］. IEEE Transactions on Industrial Electronics ， 2017 ， 64 （ 1 ）： 739 - 749 .

ASADINEJAD A ， TOMSOVIC K . Optimal use of incentive and price based demand response to reduce costs and price volatility ［J］. Electric Power System Research ， 2017 ， 144 ： 215 - 223 .

WEITZEL T ， GLOCK C H . Scheduling a storage-augmented discrete production facility under incentive-based demand response ［J］. International Journal of Production Research ， 2019 ， 57 （ 1 ）： 250 - 270 .

YU M ， HONG S H . Incentive-based demand response considering hierarchical electricity market： a Stackelberg game approach ［J］. Applied Energy ， 2017 ， 203 ： 267 - 279 .

KIRSCHEN D S ， STRBAC G ， CUMPERAYOT P ， et al . Factoring the elasticity of demand in electricity prices ［J］. IEEE Transactions on Power Systems ， 2000 ， 15 （ 2 ）： 612 - 617 .

MOGHADDAM M P ， ABDOLLAHI A ， RASHIDINEJAD M . Flexible demand response programs modeling in competitive electricity markets ［J］. Applied Energy ， 2011 ， 88 ： 3257 - 3269 .

秦祯芳，岳顺民，余贻鑫，等 . 零售端电力市场中的电量电价弹性矩阵［J］. 电力系统自动化， 2004 ， 28 （ 5 ）： 16 - 19 .

QIN Zhenfang ， YUE Shunmin ， YU Yixin ， et al . Price elasticity matrix of demand in current retail power market ［J］. Automation of Electric Power Systems ， 2004 ， 28 （ 5 ）： 16 - 19 .

陈雨果，张轩，罗刚，等 . 用户报量不报价模式下电力现货市场需求响应机制与方法［J］. 电力系统自动化， 2019 ， 43 （ 9 ）： 179 - 186 .

CHEN Yuguo ， ZHANG Xuan ， LUO Gang ， et al . Demand response mechanism and approach of electricity spot market in bidding mode without price on user side ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 9 ）： 179 - 186 .

孔祥玉，张禹森，杨世海，等 . 市场机制下考虑风险的售电公司日前电价决策方法［J］. 电网技术， 2019 ， 43 （ 3 ）： 935 - 943 .

KONG Xiangyu ， ZHANG Yusen ， YANG Shihai ， et al . Day-ahead pricing decision method considering risk of electricity selling company under market mechanism ［J］. Power Systems Technology ， 2019 ， 43 （ 3 ）： 935 - 943 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 2018 .

WEN Z ， ONEILL D ， MAEI H . Optimal demand response using device-based reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 5 ）： 2312 - 2324 .

RUELENS F ， CLAESSENS B J ， VANDAEL S ， et al . Residential demand response of thermostatically controlled loads using batch reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 5 ）： 2149 - 2159 .

KIM B ， ZHANG Y ， SCHAAR M ， et al . Dynamic pricing and energy consumption scheduling with reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2016 ， 7 （ 5 ）： 2187 - 2198 .

BARTO A G ， MAHADEVAN S . Recent advances in hierarchical reinforcement learning ［J］. Discrete Event Dynamic Systems ， 2003 ， 13 （ 1/2 ）： 41 - 77 .

LU R ， HONG S H . Incentive-based demand response for smart grid with reinforcement learning and deep neural network ［J］. Applied Energy ， 2019 ， 236 ： 937 - 949 .

冯小峰，谢添阔，高赐威，等 . 电力现货市场下计及售电商长期收益的需求侧响应［J］. 电网技术， 2019 ， 43 （ 8 ）： 2761 - 2769 .

FENG Xiaofeng ， XIE Tiankuo ， GAO Ciwei ， et al . A demand side response strategy considering long-term revenue of electricity retailer in electricity spot market ［J］. Power System Technology ， 2019 ， 43 （ 8 ）： 2761 - 2769 .

ARULKUMARAN K ， DEISENROTH M P ， BRUNDAGE M ， et al . Deep reinforcement learning： a brief survey ［J］. IEEE Signal Process Magazine ， 2017 ， 34 （ 6 ）： 26 - 38 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

SILVER D ， HUANG A ， MADDISON C J ， et al . Mastering the game of go with deep neural networks and tree search ［J］. Nature ， 2016 ， 529 （ 7587 ）： 484 - 489 .

赵冬斌，邵坤，朱圆恒，等 . 深度强化学习综述：兼论计算机围棋的发展［J］. 控制理论与应用， 2016 ， 33 （ 6 ）： 701 - 717 .

ZHAO Dongbin ， SHAO Kun ， ZHU Yuanheng ， et al . Review of deep reinforcement learning and discussions on the development of computer go ［J］. Control Theory & Applications ， 2016 ， 33 （ 6 ）： 701 - 717 .

李晖，康重庆，夏清，等 . 考虑用户满意度的需求侧管理价格决策模型［J］. 电网技术， 2004 ， 28 （ 23 ）： 5 - 10 .

LI Hui ， KANG Chongqing ， XIA Qing ， et al . Price based decision making for demand side management considering customer satisfaction index ［J］. Power System Technology ， 2004 ， 28 （ 23 ）： 5 - 10 .

YU M ， HONG S H ， DING Y ， et al . An incentive-based demand response （DR） model considering composited DR resources ［J］. IEEE Transaction on Industrial Electronics ， 2019 ， 66 （ 2 ）： 1488 - 1498 .

KRIZHEVSKY A ， SUTSKEVER I ， HINTON G E . ImageNet classification with deep convolutional neural networks ［J］. Advances in Neural Information Processing Systems ， 2012 ， 1 ： 1097 - 1105 .

LU R ， HONG S H ， ZHANG X . A dynamic pricing demand response algorithm for smart grid： reinforcement learning approach ［J］. Applied Energy ， 2018 ， 220 ： 220 - 230 .

ASADINEJAD A ， TOMSOVIC K ， CHEN C ， et al . Sensitivity of incentive based demand response program to residential customer elasticity ［C］// 2016 North American Power Symposium （NAPS）， September 18-20 ， 2016 ， Denver， USA .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于专家知识嵌入强化学习的配电系统灾后恢复决策方法