Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation

MING Weiyu; LI Yan; CHENG Shijie; LONG Yu; XU Jing; WANG Shaorong

doi:10.7500/AEPS20210824002

您当前的位置：

首页 >

文章列表页 >

Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation

Application Research | 更新时间：2025-06-16

- Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation
- Automation of Electric Power Systems Vol. 46, Issue 23, Pages: 109-116(2022)
- 作者机构：
  
  强电磁工程与新技术国家重点实验室，华中科技大学，湖北省武汉市 430074
- 作者简介：
- 基金信息：
  
  Key Project of Smart Grid Technology and Equipment of National Key R&D Program of China(2017YFB0902800)
- DOI：10.7500/AEPS20210824002
  CLC：
- Received：24 August 2021，
  
  Revised：2022-04-22，
  
  Published Online：18 October 2022，
  
  Published：10 December 2022
- 稿件说明：
移动端阅览
明威宇,李妍,程时杰等.基于态势利导的需求响应自学习优化调度方法[J].电力系统自动化,2022,46(23):109-116.

MING Weiyu,LI Yan,CHENG Shijie,et al.Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation[J].Automation of Electric Power Systems,2022,46(23):109-116.
明威宇,李妍,程时杰等.基于态势利导的需求响应自学习优化调度方法[J].电力系统自动化,2022,46(23):109-116. DOI： 10.7500/AEPS20210824002.

MING Weiyu,LI Yan,CHENG Shijie,et al.Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation[J].Automation of Electric Power Systems,2022,46(23):109-116. DOI： 10.7500/AEPS20210824002.

摘要

针对多随机场景下用户可选择需求响应(CCR)的场景组合激增问题，利用深度强化学习算法实现CCR群组的优选及其所包含节点的优化调度。首先，根据CCR优化调度的约束条件与目标函数，分析其数学模型及日调度周期的求解复杂度；然后，基于马尔可夫决策过程将CCR优化调度过程映射至态势感知元组，并基于竞争深度Q网络架构建立态势利导函数，通过多次态势推演，利用小批量梯度下降法对态势利导函数求导，不断反馈更新算法参数，实现决策优化；最后，基于IEEE 33节点算例，通过不同规模的随机样本数量，在随机运行方式下实现了待选CCR群组的优选，并制定相应的优化调度策略。

Abstract

Aiming at the scene combination surge problem of the consumer choice resource (CCR) in multiple stochastic scenarios

this paper uses the deep reinforcement learning algorithm to achieve the optimal selection of CCR groups and the optimal scheduling of the contained nodes. First

according to the constraint conditions and objective function of optimal scheduling for CCR

the mathematical model and the solution complexity of the daily scheduling cycle are analyzed. Then

the optimal scheduling process for CCR is mapped into the situation awareness tuple based on the Markov decision process

and the situation orientation function is established based on the architecture of the dueling deep Q network. Through multiple situation deductions

the situation orientation function is derived by using the small batch gradient descent method

and the algorithm parameters are continuously fed back and updated to realize the decision optimization. Finally

based on the IEEE 33-bus example

by using random number of samples with different sizes

the optimization of the CCR group to be selected is realized in the random operation mode

and the corresponding optimal scheduling strategy is formulated.

关键词

Keywords

references

包铭磊，丁一，邵常政，等 . 北欧电力市场评述及对我国的经验借鉴［J］. 中国电机工程学报， 2017 ， 37 （ 17 ）： 4881 - 4892 .

BAO Minglei ， DING Yi ， SHAO Changzheng ， et al . Review of Nordic electricity market and its suggestions for China ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 17 ）： 4881 - 4892 .

尹逊虎，丁一，惠红勋，等 . 初期现货市场下考虑用户响应行为的需求响应机制设计［J］. 电力系统自动化， 2021 ， 45 （ 23 ）： 94 - 103 .

YIN Xunhu ， DING Yi ， HUI Hongxun ， et al . Design of demand response mechanism considering response behaviors of customers in initial electricity spot market ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 23 ）： 94 - 103 .

郭昆健，高赐威，林国营，等 . 现货市场环境下售电商激励型需求响应优化策略［J］. 电力系统自动化， 2020 ， 44 （ 15 ）： 28 - 35 .

GUO Kunjian ， GAO Ciwei ， LIN Guoying ， et al . Optimization strategy of incentive based demand response for electricity retailer in spot market environment ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 15 ）： 28 - 35 .

RAHIMI F ， IPAKCHI A . Demand response as a market resource under the smart grid paradigm ［J］. IEEE Transactions on Smart Grid ， 2010 ， 1 （ 1 ）： 82 - 88 .

赵鸿图，朱治中，于尔铿 . 电力市场中需求响应市场与需求响应项目研究［J］. 电网技术， 2010 ， 34 （ 5 ）： 146 - 153 .

ZHAO Hongtu ， ZHU Zhizhong ， YU Erkeng . Study on demand response markets and programs in electricity markets ［J］. Power System Technology ， 2010 ， 34 （ 5 ）： 146 - 153 .

沈运帷，李扬，高赐威，等 . 需求响应在电力辅助服务市场中的应用［J］. 电力系统自动化， 2017 ， 41 （ 22 ）： 151 - 161 .

SHEN Yunwei ， LI Yang ， GAO Ciwei ， et al . Application of demand response in ancillary service market ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 22 ）： 151 - 161 .

郑若楠，李志浩，唐雅洁，等 . 考虑居民用户参与度不确定性的激励型需求响应模型与评估［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 154 - 162 .

ZHENG Ruonan ， LI Zhihao ， TANG Yajie ， et al . Incentive demand response model and evaluation considering uncertainty of residential customer participation degree ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 154 - 162 .

王韵楚，张智，卢峰，等 . 考虑用户行为不确定性的阶梯式需求响应激励机制［J/OL］. 电力系统自动化［ 2022-04-21 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20220415.1651.008.html http://kns.cnki.net/kcms/detail/32.1180.TP.20220415.1651.008.html .

WANG Yunchu ， ZHANG Zhi ， LU Feng ， et al . Stepwise incentive mechanism of demand response considering uncertainty of user behaviors ［J/OL］. Automation of Electric Power Systems ［ 2022-04-21 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20220415.1651.008.html http://kns.cnki.net/kcms/detail/32.1180.TP.20220415.1651.008.html .

范明天，张祖平 . 电力系统优化数学模型和计算方法［M］. 北京：中国电力出版社， 2013 .

FAN Mingtian ， ZHANG Zuping . Mathematical model and calculation method of power system optimization ［M］. Beijing ： China Electric Power Press ， 2013 .

张甜，赵奇，陈中，等 . 基于深度强化学习的家庭能量管理分层优化策略［J］. 电力系统自动化， 2021 ， 45 （ 21 ）： 149 - 158 .

ZHANG Tian ， ZHAO Qi ， CHEN Zhong ， et al . Hierarchical optimization strategy for home energy management based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 21 ）： 149 - 158 .

何清，李宁，罗文娟，等 . 大数据下的机器学习算法综述［J］. 模式识别与人工智能， 2014 ， 27 （ 4 ）： 327 - 336 .

HE Qing ， LI Ning ， LUO Wenjuan ， et al . A survey of machine learning algorithms for big data ［J］. Pattern Recognition and Artificial Intelligence ， 2014 ， 27 （ 4 ）： 327 - 336 .

刘全，翟建伟，章宗长，等 . 深度强化学习综述［J］. 计算机学报， 2018 ， 41 （ 1 ）： 1 - 27 .

LIU Quan ， ZHAI Jianwei ， ZHANG Zongzhang ， et al . A survey on deep reinforcement learning ［J］. Chinese Journal of Computers ， 2018 ， 41 （ 1 ）： 1 - 27 .

董瑶，葛莹莹，郭鸿湧，等 . 基于深度强化学习的移动机器人路径规划［J］. 计算机工程与应用， 2019 ， 55 （ 13 ）： 15 - 19 .

DONG Yao ， GE Yingying ， GUO Hongyong ， et al . Path planning for mobile robot based on deep reinforcement learning ［J］. Computer Engineering and Applications ， 2019 ， 55 （ 13 ）： 15 - 19 .

刘威，张东霞，王新迎，等 . 基于深度强化学习的电网紧急控制策略研究［J］. 中国电机工程学报， 2018 ， 38 （ 1 ）： 109 - 119 .

LIU Wei ， ZHANG Dongxia ， WANG Xinying ， et al . A decision making strategy for generating unit tripping under emergency circumstances based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 1 ）： 109 - 119 .

夏伟，李慧云 . 基于深度强化学习的自动驾驶策略学习方法［J］. 集成技术， 2017 ， 6 （ 3 ）： 29 - 34 .

XIA Wei ， LI Huiyun . Training method of automatic driving strategy based on deep reinforcement learning ［J］. Journal of Integration Technology ， 2017 ， 6 （ 3 ）： 29 - 34 .

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

XU H C ， SUN H B ， NIKOVSKI D ， et al . Deep reinforcement learning for joint bidding and pricing of load serving entity ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 6 ）： 6366 - 6375 .

XU H C ， ZHANG K Q ， ZHANG J B . Optimal joint bidding and pricing of profit-seeking load serving entity ［J］. IEEE Transactions on Power Systems ， 2018 ， 33 （ 5 ）： 5427 - 5436 .

严干贵，阚天洋，杨玉龙，等 . 基于深度强化学习的分布式电采暖参与需求响应优化调度［J］. 电网技术， 2020 ， 44 （ 11 ）： 4140 - 4149 .

YAN Gangui ， KAN Tianyang ， YANG Yulong ， et al . Demand response optimal scheduling for distributed electric heating based on deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 11 ）： 4140 - 4149 .

HUANG X F ， HONG S H ， YU M M ， et al . Demand response management for industrial facilities： a deep reinforcement learning approach ［J］. IEEE Access ， 7 ： 82194 - 82205 .

徐弘升，陆继翔，杨志宏，等 . 基于深度强化学习的激励型需求响应决策优化模型［J］. 电力系统自动化， 2021 ， 45 （ 14 ）： 97 - 103 .

XU Hongsheng ， LU Jixiang ， YANG Zhihong ， et al . Decision optimization model of incentive demand response based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 14 ）： 97 - 103 .

李航，李国杰，汪可友 . 基于深度强化学习的电动汽车实时调度策略［J］. 电力系统自动化， 2020 ， 44 （ 22 ）： 161 - 167 .

LI Hang ， LI Guojie ， WANG Keyou . Real-time dispatch strategy for electric vehicles based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 22 ）： 161 - 167 .

WATKINS J ， DAYAN P . Technical note： Q-learning ［J］. Machine Learning ， 1992 ， 8 ： 279 - 292 .

IEEE PES AMPS DSAS Test Feeder Working Group ［EB/OL］. ［ 2016-02-24 ］. http：//sites.ieee.org/pes-testfeeders/resources/ http://sites.ieee.org/pes-testfeeders/resources/ .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning

智能配电网态势感知和态势利导关键技术

Cross-time-scale Annual Chronological Production Simulation Method for Power System with Seasonal Hydrogen Energy Storage

Related Author

Shijie CHENG

Yan LI

Weiyu MING

Yu LONG

Jing XU

Shaorong WANG

Shuang NI

Zhenkun LI

Related Institution

College of Automation Engineering, Shanghai University of Electrical Power

Shanghai Key Laboratory of Smart Grid Demand Response

College of Electrical Engineering, Shanghai University of Electrical Power

Key Laboratory of Smart Grid of Ministry of Education, Tianjin University

State Key Laboratory of Advanced Electromagnetic Technology (Huazhong University of Science and Technology)

⁰