Dispatching Strategy of Energy Storage for 5G Base Stations Based on Deep Reinforcement Learning

JIANG Tingyao; XIE Longen; DU Yu; OUYANG Chuanhua

doi:10.7500/AEPS20220526003

您当前的位置：

首页 >

文章列表页 >

Dispatching Strategy of Energy Storage for 5G Base Stations Based on Deep Reinforcement Learning

Application Research | 更新时间：2025-06-16

- Dispatching Strategy of Energy Storage for 5G Base Stations Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 9, Pages: 147-157(2023)
- 作者机构：
  
  三峡大学计算机与信息学院，湖北省宜昌市 443002
- 作者简介：
- 基金信息：
  
  Natural Science Fund of Hubei Province(2021CFB163)
- DOI：10.7500/AEPS20220526003
  CLC：
- Received：26 May 2022，
  
  Revised：2022-09-19，
  
  Published Online：22 November 2022，
  
  Published：10 May 2023
- 稿件说明：
移动端阅览
蒋廷耀,谢龙恩,杜雨等.基于深度强化学习的5G基站储能调度策略[J].电力系统自动化,2023,47(9):147-157.

JIANG Tingyao,XIE Longen,DU Yu,et al.Dispatching Strategy of Energy Storage for 5G Base Stations Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(9):147-157.
蒋廷耀,谢龙恩,杜雨等.基于深度强化学习的5G基站储能调度策略[J].电力系统自动化,2023,47(9):147-157. DOI： 10.7500/AEPS20220526003.

JIANG Tingyao,XIE Longen,DU Yu,et al.Dispatching Strategy of Energy Storage for 5G Base Stations Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(9):147-157. DOI： 10.7500/AEPS20220526003.

摘要

为提高5G基站闲置储能的利用率，设计了一种5G基站储能参与电网调度的多基站储能系统，采用参与电网需求响应和低储高放的协同调度机制，建立了考虑过充过放惩罚和调度成本等多因素的多基站储能系统经济模型。以经济效益最大化为目标，提出了一种基于深度强化学习的5G基站储能充放电行为调控方法。该方法使用深度确定性策略梯度对系统环境信息进行学习，并对5G基站储能进行分组以降低学习维度。仿真结果表明，该方法能够保证5G基站储能单元后续可调容量，有效控制基站储能荷电状态变化范围，并最大化基站储能参与电网调度所得收益。

Abstract

In order to improve the utilization rate of idle energy storage of 5G base stations

this paper designs a multi-base-station energy storage system (MBSESS) that uses the energy storage of 5G base station to participate in power grid dispatching. By adopting the coordinated dispatching mechanism of participating in power grid demand response and charging during off-peak tariff and discharging during peak tariff

an economic model of MBSESS is established

which takes into account multiple factors such as overcharge and overdischarge penalties and dispatching costs. With the goal of maximizing economic benefits

a deep reinforcement learning based dispatching method is proposed for regulating the charging and discharging behavior of energy storage of 5G base station. The method uses deep deterministic policy gradient to learn system environment information

and groups energy storage of 5G base station to reduce the learning dimension. Simulation results show that the method can ensure the subsequent adjustable capacity of energy storage of 5G base station

effectively control the variation range of the state of charge (SOC) of the base station energy storage

and maximize the revenue of energy storage of 5G base station participating in power grid dispatching.

关键词

Keywords

references

张宁，杨经纬，王毅，等 . 面向泛在电力物联网的5G通信：技术原理与典型应用［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4015 - 4025 .

ZHANG Ning ， YANG Jingwei ， WANG Yi ， et al . 5G communication for the ubiquitous Internet of Things in electricity： technical principles and typical applications ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4015 - 4025 .

WANG Q ， ZHAO X ， LV Z T ， et al . Optimizing the ultra-dense 5G base stations in urban outdoor areas： coupling GIS and heuristic optimization ［J］. Sustainable Cities and Society ， 2020 ， 63 ： 102445 .

林固静，高赐威，宋梦，等 . 含通信基站备用储能的虚拟电厂构建及调度方法［J］. 电力系统自动化， 2022 ， 46 （ 18 ）： 99 - 107 .

LIN Gujing ， GAO Ciwei ， SONG Meng ， et al . Construction and dispatch method of virtual power plant with backup energy storage in communication base stations ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 18 ）： 99 - 107 .

王育飞，郑云平，薛花，等 . 基于增强烟花算法的移动式储能削峰填谷优化调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 48 - 56 .

WANG Yufei ， ZHENG Yunping ， XUE Hua ， et al . Optimal dispatch of mobile energy storage for peak load shifting based on enhanced firework algorithm ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 48 - 56 .

CI S ， ZHOU Y L ， XU Y ， et al . Building a cloud-based energy storage system through digital transformation of distributed backup battery in mobile base stations ［J］. China Communications ， 2020 ， 17 ： 42 - 50 .

LI X J ， DONG L Z ， XU S H . Battery energy storage system integration and monitoring method based on 5G and cloud technology ［J］. E3S Web of Conferences ， 2021 ， 243 ： 1007 .

YONG P ， ZHANG N ， HOU Q C ， et al . Evaluating the dispatchable capacity of base station backup batteries in distribution networks ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 5 ）： 3966 - 3979 .

CHEN S ， GAO C ， CHEN M ， et al . An optimal demand response strategy for communication base stations with installing nanoenergy storage system ［J］. Nanoscience and Nanotechnology Letters ， 2020 ， 12 （ 6 ）： 841 - 848 .

王月汉，刘文霞，姚齐，等 . 面向配电网韧性提升的移动储能预布局与动态调度策略［J］. 电力系统自动化， 2022 ， 46 （ 15 ）： 37 - 45 .

WANG Yuehan ， LIU Wenxia ， YAO Qi ， et al . Pre-layout and dynamic scheduling strategy of mobile energy storage for resilience enhancement of distribution network ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 15 ）： 37 - 45 .

麻秀范，孟祥玉，朱秋萍，等 . 计及通信负载的5G基站储能调控策略［J］. 电工技术学报， 2022 ， 37 （ 11 ）： 2878 - 2887 .

MA Xiufan ， MENG Xiangyu ， ZHU Qiuping ， et al . Control strategy of 5G base station energy storage considering communication load ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 11 ）： 2878 - 2887 .

NAZARI-HERIS M ， BABAEI A F ， MOHAMMADI-IVATLOO B ， et al . Improved harmony search algorithm for the solution of non-linear non-convex short-term hydrothermal scheduling ［J］. Energy ， 2018 ， 151 ： 226 - 237 .

刘俊峰，陈剑龙，王晓生，等 . 基于深度强化学习的微能源网能量管理与优化策略研究［J］. 电网技术， 2020 ， 44 （ 10 ）： 3794 - 3803 .

LIU Junfeng ， CHEN Jianlong ， WANG Xiaosheng ， et al . Energy management and optimization of multi-energy grid based on deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3794 - 3803 .

ZHANG D X ， HAN X Q ， DENG C Y . Review on the research and practice of deep learning and reinforcement learning in smart grids ［J］. CSEE Journal of Power and Energy Systems ， 2018 ， 4 （ 3 ）： 362 - 370 .

PERERA A T D ， WICKRAMASINGHE P U ， NIK V M ， et al . Introducing reinforcement learning to the energy system design process ［J］. Applied Energy ， 2020 ， 262 ： 114580 .

YAN Z M ， XU Y ， WANG Y ， et al . Deep reinforcement learning-based optimal data-driven control of battery energy storage for power system frequency support ［J］. IET Generation ， Transmission & Distribution， 2020 ， 14 （ 25 ）： 6071 - 6078 .

MIMICA M ， SINOVČIĆ Z ， JOKIĆ A ， et al . The role of the energy storage and the demand response in the robust reserve and network-constrained joint electricity and reserve market ［J］. Electric Power Systems Research ， 2022 ， 204 ： 107716 .

WEN Y ， WANG L ， CHENG C ， et al . Study on the influence factors of the cycle life of lead-acid battery in DC system ［J］. IOP Conference Series： Earth and Environmental Science ， 2021 ， 772 （ 1 ）： 12039 .

韩晓娟，程成，籍天明，等 . 计及电池使用寿命的混合储能系统容量优化模型［J］. 中国电机工程学报， 2013 ， 33 （ 34 ）： 91 - 97 .

HAN Xiaojuan ， CHENG Cheng ， JI Tianming ， et al . Capacity optimal modeling of hybrid energy storage systems considering battery life ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 34 ）： 91 - 97 .

SILVER D ， LEVER G ， HEESS N ， et al . Deterministic policy gradient algorithms ［C］// International Conference on Machine Learning ， June 21-26 ， 2014 ， Beijing， China ： 387 - 395 .

侯慧，王逸凡，赵波，等 . 价格与激励需求响应下电动汽车负荷聚集商调度策略［J］. 电网技术， 2022 ， 46 （ 4 ）： 1259 - 1269 .

HOU Hui ， WANG Yifan ， ZHAO Bo ， et al . Electric vehicle aggregator dispatching strategy under price and incentive demand response ［J］. Power System Technology ， 2022 ， 46 （ 4 ）： 1259 - 1269 .

KINGMA D P ， BA J . Adam： a method for stochastic optimization ［C］// International Conference on Learning Representations ， May 7-9 ， 2015 ， San Diego， USA ： 1 - 15 .

ZHANG J J ， HU F ， LI L ， et al . An adaptive mechanism to achieve learning rate dynamically ［J］. Neural Computing and Applications ， 2019 ， 31 （ 10 ）： 6685 - 6698 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Siting and Sizing Method for Energy Storage Based on Dispatchable Potential of 5G Base Station and Cluster Partition of Distribution Network

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Inertia Support Method of Energy Storage Doubly-fed Condenser Based on Frequency-Rotor Speed Droop Control

Related Author

LI Jinyu

SONG Fulong

MA Junjie

DING Yujie

YU Xiaoxiao

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

Related Institution

Shenyang Power Supply Company, State Grid Liaoning Electric Power Co., Ltd.

Global Energy Interconnection Development and Cooperation Organization

Global Energy Interconnection Group Co., Ltd.

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

⁰