Intra-day Lookahead-Value Function Approximation Strategy of User-side Distributed Energy Storage Participating in Primary Frequency Regulation

WEN Kerui; LI Weidong; SUN Qiao; BA Yu; WANG Haixia

doi:10.7500/AEPS20220321001

您当前的位置：

首页 >

文章列表页 >

Intra-day Lookahead-Value Function Approximation Strategy of User-side Distributed Energy Storage Participating in Primary Frequency Regulation

Basic Research | 更新时间：2025-06-16

- Intra-day Lookahead-Value Function Approximation Strategy of User-side Distributed Energy Storage Participating in Primary Frequency Regulation
- Automation of Electric Power Systems Vol. 46, Issue 20, Pages: 33-42(2022)
- 作者机构：
  
  1.大连理工大学电气工程学院,辽宁省大连市 116024
  2.国网辽宁省电力有限公司大连供电公司,辽宁省大连市 116001
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51677018)
- DOI：10.7500/AEPS20220321001
  CLC：
- Received：21 March 2022，
  
  Revised：2022-07-04，
  
  Published Online：17 August 2022，
  
  Published：25 October 2022
- 稿件说明：
移动端阅览
温可瑞,李卫东,孙乔等.用户侧分布式储能参与一次调频的日内前瞻-值函数近似策略[J].电力系统自动化,2022,46(20):33-42.

WEN Kerui,LI Weidong,SUN Qiao,et al.Intra-day Lookahead-Value Function Approximation Strategy of User-side Distributed Energy Storage Participating in Primary Frequency Regulation[J].Automation of Electric Power Systems,2022,46(20):33-42.
温可瑞,李卫东,孙乔等.用户侧分布式储能参与一次调频的日内前瞻-值函数近似策略[J].电力系统自动化,2022,46(20):33-42. DOI： 10.7500/AEPS20220321001.

WEN Kerui,LI Weidong,SUN Qiao,et al.Intra-day Lookahead-Value Function Approximation Strategy of User-side Distributed Energy Storage Participating in Primary Frequency Regulation[J].Automation of Electric Power Systems,2022,46(20):33-42. DOI： 10.7500/AEPS20220321001.

摘要

用户侧分布式储能响应电价同时参与一次调频(PFR)服务的日内运行过程，需要在多维不确定信息下开展优化决策，以保障PFR的可靠性能及运行经济效益。将日内运行问题构建为考虑PFR性能约束的马尔可夫决策过程，进而提出了一种“前瞻-值函数近似”混合运行策略。在离线阶段，基于近似动态规划思想引入决策后状态近似值函数，以表征不同时段状态下的长期期望效益，并利用差分学习算法对近似效益函数开展离线训练。日内运行过程中，结合滚动更新的预测信息以及离线训练的长期时域近似效益函数，在线滚动优化两阶段近似动态规划模型以动态获取各时段近似最优决策。算例结果表明，所提策略能够兼顾全局经济效益与在线运算开销，同时保障分布式储能资源的频率响应能力。

Abstract

For the intra-day operation process of user-side distributed energy storage responding to electricity price and participating in primary frequency regulation (PFR) service

the optimal decision should be made under the multi-dimensional uncertain information to ensure the reliability performance of PFR and the economic benefits. The intra-day operation problem are formulated as a Markov decision process with PFR performance constraints

and then a hybrid operation strategy of "lookahead-value function approximation" is proposed. In the offline stage

the approximate value function with a post-decision state is adopted based on the idea of approximate dynamic programming to represent the long-term expected benefit in different periods

and the temporal difference learning algorithm is used to train the approximate value function offline. During the intra-day operation process

the two-stage approximate dynamic programming model is optimized online to dynamically obtain the approximate optimal decision during each period

which combines the rolling updated forecasting information and the long-term approximate benefit function from offline training. Numerical results show that the proposed strategy can balance the global economic benefit and online computing overhead

and guarantee the frequency response capability of distributed energy storage resources.

关键词

Keywords

references

王成山，武震，李鹏 . 分布式电能存储技术的应用前景与挑战［J］. 电力系统自动化， 2014 ， 38 （ 16 ）： 1 - 8 .

WANG Chengshan ， WU Zhen ， LI Peng . Prospects and challenges of distributed electricity storage technology ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 16 ）： 1 - 8 .

王剑波，李建林，周喜超，等 . 基于全景理论的分散式储能系统集群优化调度策略［J］. 高电压技术， 2021 ， 47 （ 8 ）： 2742 - 2752 .

WANG Jianbo ， LI Jianlin ， ZHOU Xichao ， et al . Optimal scheduling strategy of decentralized energy storage system based on panoramic theory ［J］. High Voltage Engineering ， 2021 ， 47 （ 8 ）： 2742 - 2752 .

王枭，何怡刚，马恒瑞，等 . 面向电网辅助服务的虚拟储能电厂分布式优化控制方法［J］. 电力系统自动化， 2022 ， 46 （ 10 ）： 181 - 188 .

WANG Xiao ， HE Yigang ， MA Hengrui ， et al . Distributed optimization control method of virtual energy storage plants for power grid ancillary services ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 10 ）： 181 - 188 .

李兆伟，方勇杰，李威，等 . 电化学储能应用于电网频率安全防御三道防线的探讨［J］. 电力系统自动化， 2020 ， 44 （ 8 ）： 1 - 7 .

LI Zhaowei ， FANG Yongjie ， LI Wei ， et al . Discussion on application of electrochemical energy storage in three defense lines of power grid frequency ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 8 ）： 1 - 7 .

李建林，袁晓冬，郁正纲，等 . 利用储能系统提升电网电能质量研究综述［J］. 电力系统自动化， 2019 ， 43 （ 8 ）： 15 - 24 .

LI Jianlin ， YUAN Xiaodong ， YU Zhenggang ， et al . Comments on power quality enhancement research for power grid by energy storage system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 8 ）： 15 - 24 .

王凯丰，谢丽蓉，乔颖，等 . 电池储能提高电力系统调频性能分析［J］. 电力系统自动化， 2022 ， 46 （ 1 ）： 174 - 181 .

WANG Kaifeng ， XIE Lirong ， QIAO Ying ， et al . Analysis of frequency regulation performance of power system improved by battery energy storage ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 1 ）： 174 - 181 .

宋天昊，李柯江，韩肖清，等 . 储能系统参与多应用场景的协同运行策略［J］. 电力系统自动化， 2021 ， 45 （ 19 ）： 43 - 51 .

SONG Tianhao ， LI Kejiang ， HAN Xiaoqing ， et al . Coordinated operation strategy of energy storage system participating in multiple application scenarios ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 19 ）： 43 - 51 .

曾君，胡家健，徐铭康，等 . 储能汇聚参与辅助调频服务的协同优化算法［J］. 控制理论与应用， 2021 ， 38 （ 7 ）： 1051 - 1060 .

ZENG Jun ， HU Jiajian ， XU Mingkang ， et al . Collaborative optimization algorithm for aggregating energy storage in frequency modulation service ［J］. Control Theory & Applications ， 2021 ， 38 （ 7 ）： 1051 - 1060 .

李军徽，侯涛，穆钢，等 . 基于权重因子和荷电状态恢复的储能系统参与一次调频策略［J］. 电力系统自动化， 2020 ， 44 （ 19 ）： 63 - 72 .

LI Junhui ， HOU Tao ， MU Gang ， et al . Primary frequency regulation strategy with energy storage system based on weight factors and state of charge recovery ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 19 ）： 63 - 72 .

ZHANG T ， CHEN S X ， GOOI H B ， et al . A hierarchical EMS for aggregated BESSs in energy and performance-based regulation markets ［J］. IEEE Transactions on Power Systems ， 2017 ， 32 （ 3 ）： 1751 - 1760 .

范帅，何光宇，郑湘明，等 . 基于在线分布式优化的虚拟电厂自趋优运行方法研究［J/OL］. 中国电机工程学报［ 2022-05-20 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20220519.1833.041.html https://kns.cnki.net/kcms/detail/11.2107.TM.20220519.1833.041.html .

FAN Shuai ， HE Guangyu ， ZHENG Xiangming ， et al . Research on online distributed optimization-based self-approaching optimization operation method of virtual power plant ［J/OL］. Proceedings of the CSEE ［ 2022-05-20 ］. https：//kns.cnki.net/kcms/detail/11.2107.TM.20220519.1833.041.html https://kns.cnki.net/kcms/detail/11.2107.TM.20220519.1833.041.html .

马宇辉，刘念 . 用户侧微电网的能量管理方法综述［J］. 电力系统保护与控制， 2017 ， 45 （ 23 ）： 158 - 168 .

MA Yuhui ， LIU Nian . Survey on energy management method of community micro-grid ［J］. Power System Protection and Control ， 2017 ， 45 （ 23 ）： 158 - 168 .

盛万兴，李鹏华，段青，等 . 基于Lyapunov优化方法的含能量路由器的能源集线器能量管理策略研究［J］. 中国电机工程学报， 2019 ， 39 （ 21 ）： 6212 - 6225 .

SHENG Wanxing ， LI Penghua ， DUAN Qing ， et al . Research on energy management strategy of energy hub with energy router based on Lyapunov optimization method ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 21 ）： 6212 - 6225 .

NAMOR E ， SOSSAN F ， CHERKAOUI R ， et al . Control of battery storage systems for the simultaneous provision of multiple services ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 3 ）： 2799 - 2808 .

LYMPEROPOULOS I ， QURESHI F A ， BITLISLIOGLU A ， et al . Ancillary services provision utilizing a network of fast-charging stations for electrical buses ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 1 ）： 665 - 672 .

CONTE F ， MASSUCCO S ， SCHIAPPARELLI G P ， et al . Day-ahead and intra-day planning of integrated BESS-PV systems providing frequency regulation ［J］. IEEE Transactions on Sustainable Energy ， 2020 ， 11 （ 3 ）： 1797 - 1806 .

KUMAR R ， WENZEL M J ， ELLIS M J ， et al . A stochastic model predictive control framework for stationary battery systems ［J］. IEEE Transactions on Power Systems ， 2018 ， 33 （ 4 ）： 4397 - 4406 .

POWELL W B ， MEISEL S . Tutorial on stochastic optimization in energy—Part Ⅱ： an energy storage illustration ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 2 ）： 1468 - 1475 .

ENGELS J ， CLAESSENS B ， DECONINCK G . Combined stochastic optimization of frequency control and self-consumption with a battery ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 2 ）： 1971 - 1981 .

陈亦平，卓映君，刘映尚，等 . 高比例可再生能源电力系统的快速频率响应市场发展与建议［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 174 - 183 .

CHEN Yiping ， ZHUO Yingjun ， LIU Yingshang ， et al . Development and recommendation of fast frequency response market for power system with high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 174 - 183 .

李培强，丰云鹤，李欣然，等 . 考虑超短期负荷预测的储能电池参与电网一次调频控制策略［J］. 电力系统自动化， 2019 ， 43 （ 19 ）： 87 - 93 .

LI Peiqiang ， FENG Yunhe ， LI Xinran ， et al . Control strategy for energy storage battery participating in primary frequency regulation of power grid considering ultra-short-term load forecasting ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 19 ）： 87 - 93 .

POWELL W B . A unified framework for stochastic optimization ［J］. European Journal of Operational Research ， 2019 ， 275 （ 3 ）： 795 - 821 .

HUANG Q S ， XU Y J ， COURCOUBETIS C . Financial incentives for joint storage planning and operation in energy and regulation markets ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 5 ）： 3326 - 3339 .

梁振成，韦化，李凌，等 . 中长期发电计划的值函数近似动态规划方法［J］. 中国电机工程学报， 2015 ， 35 （ 20 ）： 5199 - 5209 .

LIANG Zhencheng ， WEI Hua ， LI Ling ， et al . A method of value function approximate dynamic programming for medium/long term generation scheduling ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 20 ）： 5199 - 5209 .

SALAS D F ， POWELL W B . Benchmarking a scalable approximate dynamic programming algorithm for stochastic control of grid-level energy storage ［J］. INFORMS Journal on Computing ， 2018 ， 30 （ 1 ）： 106 - 123 .

ASAMOV T ， SALAS D F ， POWELL W B . SDDP vs . ADP： the effect of dimensionality in multistage stochastic optimization for grid level energy storage［EB/OL］. （ 2016-05-05 ）［ 2021-10-05 ］. https：//arxiv.org/abs/1605.01521 https://arxiv.org/abs/1605.01521 .

SHUAI H ， FANG J K ， AI X M ， et al . On-line energy management of microgrid via parametric cost function approximation ［J］. IEEE Transactions on Power Systems ， 2019 ， 34 （ 4 ）： 3300 - 3302 .

SHUAI H ， FANG J K ， AI X M ， et al . Stochastic optimization of economic dispatch for microgrid based on approximate dynamic programming ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 3 ）： 2440 - 2452 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Adaptive Linear Quadratic Gaussian Primary Frequency Regulation Control Strategy for Doubly-fed Wind Turbines Considering Fatigue Loads

Hierarchical Cluster Cooperative Frequency Control Strategy for Wind Power Bases Considering Differential Frequency Regulation Dead Zones

Simplified Dynamic Model and Primary Frequency Regulation Capability Analysis of Concentrated Solar Power System

Related Author

Kerui WEN

Weidong LI

Qiao SUN

Yu BA

Haixia WANG

SUN Jian

LIAO Kai

HE Zhengyou

Related Institution

School of Electrical Engineering, Southwest Jiaotong University

School of Automation and Information Engineering, Xi’an University of Technology

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

College of Electrical Engineering, Sichuan University

Department of Electrical Engineering, Tsinghua University

⁰