Multi-energy Collaborative Optimization Method for Distributed Energy Systems Based on Hierarchical Deep Reinforcement Learning

WANG Lei; HU Guo; WU Hai; TAN Kuo; ZHOU Cheng; ZHU Yajun

doi:10.7500/AEPS20230426003

您当前的位置：

首页 >

文章列表页 >

Multi-energy Collaborative Optimization Method for Distributed Energy Systems Based on Hierarchical Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Multi-energy Collaborative Optimization Method for Distributed Energy Systems Based on Hierarchical Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 48, Issue 1, Pages: 67-76(2024)
- 作者机构：
  
  1.南瑞集团有限公司（国网电力科学研究院有限公司），江苏省南京市 211106
  2.国电南瑞科技股份有限公司，江苏省南京市 211106
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5400-202233168A-1-1-ZN)
- DOI：10.7500/AEPS20230426003
  CLC：
- Received：26 April 2023，
  
  Revised：2023-08-14，
  
  Published Online：08 December 2023，
  
  Published：10 January 2024
- 稿件说明：
移动端阅览
王磊,胡国,吴海等.基于分层深度强化学习的分布式能源系统多能协同优化方法[J].电力系统自动化,2024,48(1):67-76.

WANG Lei,HU Guo,WU Hai,et al.Multi-energy Collaborative Optimization Method for Distributed Energy Systems Based on Hierarchical Deep Reinforcement Learning[J].Automation of Electric Power Systems,2024,48(1):67-76.
王磊,胡国,吴海等.基于分层深度强化学习的分布式能源系统多能协同优化方法[J].电力系统自动化,2024,48(1):67-76. DOI： 10.7500/AEPS20230426003.

WANG Lei,HU Guo,WU Hai,et al.Multi-energy Collaborative Optimization Method for Distributed Energy Systems Based on Hierarchical Deep Reinforcement Learning[J].Automation of Electric Power Systems,2024,48(1):67-76. DOI： 10.7500/AEPS20230426003.

摘要

分布式能源系统的多能协同运行对于促进新能源的消纳具有重要意义。然而，分布式能源系统中源荷的不确定性以及异质能源网络的时空差异性，给多能协同优化问题带来巨大挑战。针对这一问题，提出了一种面向分布式能源系统的两阶段多能协同优化模型，通过采用长时间尺度控制和短时间尺度控制两阶段解耦决策方式，实现了对不同时间响应特性的复合空间进行序贯决策。然后，面对高维复合搜索空间和源荷不确定性因素，采用了深度强化学习无模型解决方案，并提出一种全新的分层深度强化学习算法进行求解。通过算例仿真验证了所提模型和求解方法的有效性和优越性。

Abstract

The multi-energy collaborative operation of distributed energy systems is of great significance for promoting the consumption of renewable energy. However

the uncertainty of sources and loads in distributed energy systems

as well as the spatiotemporal differences in heterogeneous energy networks

pose significant challenges to the optimization problem of multi-energy collaboration.A two-stage multi-energy collaborative optimization model for distributed energy systems is proposed to address this issue. A two-stage decoupling decision-making approach of long-time scale control and short-time scale control is adopted

thereby achieving sequential decision-making for composite spaces with different time response characteristics. Subsequently

in the face of high-dimensional composite search space and source-load uncertainty factors

a deep reinforcement learning model free solution is adopted

and a novel hierarchical deep reinforcement learning algorithm is proposed for solving. The effectiveness and superiority of the proposed model and solving method are verified through numerical simulations.

关键词

Keywords

references

张沈习，王丹阳，程浩忠，等 . 双碳目标下低碳综合能源系统规划关键技术及挑战［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 189 - 207 .

ZHANG Shenxi ， WANG Danyang ， CHENG Haozhong ， et al . Key technologies and challenges of low-carbon integrated energy system planning for carbon emission peak and carbon neutrality ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 189 - 207 .

李承周，王宁玲，窦潇潇，等 . 多能源互补分布式能源系统集成研究综述及展望［J］. 中国电机工程学报， 2023 ， 43 （ 18 ）： 7127 - 7150 .

LI Chengzhou ， WANG Ningling ， DOU Xiaoxiao ， et al . Review and prospect of multi-energy complementary distributed energy system integration ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 18 ）： 7127 - 7150 .

朱晓军，朱建华，朱振旗，等 . 分布式能源网络系统的探索与实践［J］. 科学通报， 2017 ， 62 （ 32 ）： 3672 - 3682 .

ZHU Xiaojun ， ZHU Jianhua ， ZHU Zhenqi ， et al . Exploration and practice of distributed energy network system ［J］. Chinese Science Bulletin ， 2017 ， 62 （ 32 ）： 3672 - 3682 .

杨经纬，张宁，王毅，等 . 面向可再生能源消纳的多能源系统：述评与展望［J］. 电力系统自动化， 2018 ， 42 （ 4 ）： 11 - 24 .

YANG Jingwei ， ZHANG Ning ， WANG Yi ， et al . Multi-energy system towards renewable energy accommodation： review and prospect ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 4 ）： 11 - 24 .

陈瑜玮，王彬，潘昭光，等 . 计及用户灵活性和热惯性的多能园区优化调度：研发及应用［J］. 电力系统自动化， 2020 ， 44 （ 23 ）： 29 - 37 .

CHEN Yuwei ， WANG Bin ， PAN Zhaoguang ， et al . Optimal dispatch for multi-energy park considering flexibility and thermal inertia of users： research， development and application ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 23 ）： 29 - 37 .

黄炜栋，李杨，李璟延，等 . 考虑可再生能源不确定性的风-光-储-蓄多时间尺度联合优化调度［J］. 电力自动化设备， 2023 ， 43 （ 4 ）： 91 - 98 .

HUANG Weidong ， LI Yang ， LI Jingyan ， et al . Multi-time scale joint optimal scheduling for wind-photovoltaic-electrochemical energy storage-pumped storage considering renewable energy uncertainty ［J］. Electric Power Automation Equipment ， 2023 ， 43 （ 4 ）： 91 - 98 .

杨龙，张沈习，程浩忠，等 . 区域低碳综合能源系统规划关键技术与挑战［J］. 电网技术， 2022 ， 46 （ 9 ）： 3290 - 3304 .

YANG Long ， ZHANG Shenxi ， CHENG Haozhong ， et al . Regional low-carbon integrated energy system planning： key technologies and challenges ［J］. Power System Technology ， 2022 ， 46 （ 9 ）： 3290 - 3304 .

HAO Y S ， LIU G F . Evaluation of nine heuristic algorithms with data-intensive jobs and computing-intensive jobs in a dynamic environment ［J］. IET Software ， 2015 ， 9 （ 1 ）： 7 - 16 .

聂欢欢，张家琦，陈颖，等 . 基于双层强化学习方法的多能园区实时经济调度［J］. 电网技术， 2021 ， 45 （ 4 ）： 1330 - 1336 .

NIE Huanhuan ， ZHANG Jiaqi ， CHEN Ying ， et al . Real-time economic dispatch of community integrated energy system based on a double-layer reinforcement learning method ［J］. Power System Technology ， 2021 ， 45 （ 4 ）： 1330 - 1336 .

刘洪，李吉峰，葛少云，等 . 基于多主体博弈与强化学习的并网型综合能源微网协调调度［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 40 - 48 .

LIU Hong ， LI Jifeng ， GE Shaoyun ， et al . Coordinated scheduling of grid-connected integrated energy microgrid based on multi-agent game and reinforcement learning ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 40 - 48 .

李宏仲，王磊，林冬，等 . 多主体参与可再生能源消纳的Nash博弈模型及其迁移强化学习求解［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4135 - 4150 .

LI Hongzhong ， WANG Lei ， LIN Dong ， et al . A Nash game model of multi-agent participation in renewable energy consumption and the solving method via transfer reinforcement learning ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4135 - 4150 .

XU Z W ， HAN G J ， LIU L ， et al . Multi-energy scheduling of an industrial integrated energy system by reinforcement learning-based differential evolution ［J］. IEEE Transactions on Green Communications and Networking ， 2021 ， 5 （ 3 ）： 1077 - 1090 .

唐振韬，邵坤，赵冬斌，等 . 深度强化学习进展：从AlphaGo到AlphaGo Zero ［J］. 控制理论与应用， 2017 ， 34 （ 12 ）： 1529 - 1546 .

TANG Zhentao ， SHAO Kun ， ZHAO Dongbin ， et al . Recent progress of deep reinforcement learning： from AlphaGo to AlphaGo Zero ［J］. Control Theory & Applications ， 2017 ， 34 （ 12 ）： 1529 - 1546 .

刘全，翟建伟，章宗长，等 . 深度强化学习综述［J］. 计算机学报， 2018 ， 41 （ 1 ）： 1 - 27 .

LIU Quan ， ZHAI Jianwei ， ZHANG Zongchang ， et al . A survey on deep reinforcement learning ［J］. Chinese Journal of Computers ， 2018 ， 41 （ 1 ）： 1 - 27 .

严梓铭，徐岩 . 结合深度强化学习与领域知识的电力系统拓扑结构优化［J］. 电力系统自动化， 2022 ， 46 （ 1 ）： 60 - 68 .

YAN Ziming ， XU Yan . Topology optimization of power systems combining deep reinforcement learning and domain knowledge ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 1 ）： 60 - 68 .

叶宇剑，袁泉，刘文雯，等 . 基于参数共享机制多智能体深度强化学习的社区能量管理协同优化［J］. 中国电机工程学报， 2022 ， 42 （ 21 ）： 7682 - 7695 .

YE Yujian ， YUAN Quan ， LIU Wenwen ， et al . Parameter sharing empowered multi-agent deep reinforcement learning for coordinated management of energy communities ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 21 ）： 7682 - 7695 .

LI X Y ， HAN X S ， YANG M . Day-ahead optimal dispatch strategy for active distribution network based on improved deep reinforcement learning ［J］. IEEE Access ， 2022 ， 10 ： 9357 - 9370 .

黄志刚，刘全，张立华，等 . 深度分层强化学习研究与发展［J］. 软件学报， 2023 ， 34 （ 2 ）： 733 - 760 .

HUANG Zhigang ， LIU Quan ， ZHANG Lihua ， et al . Research and development on deep hierarchical reinforcement learning ［J］. Journal of Software ， 2023 ， 34 （ 2 ）： 733 - 760 .

王童，李骜，宋海荦，等 . 基于分层深度强化学习的移动机器人导航方法［J］. 控制与决策， 2022 ， 37 （ 11 ）： 2799 - 2807 .

WANG Tong ， LI Ao ， SONG Hailuo ， et al . Navigation method for mobile robot based on hierarchical deep reinforcement learning ［J］. Control and Decision ， 2022 ， 37 （ 11 ）： 2799 - 2807 .

LIU J F ， PAN F Y ， LUO L . GoChat： goal-oriented chatbots with hierarchical reinforcement learning ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval ， Virtual Event， July 25-30， 2020 ， Xi’an， China ： 1793 - 1796 .

ZHAO D Y ， ZHANG L A ， ZHANG B ， et al . MaHRL： multi-goals abstraction based deep hierarchical reinforcement learning for recommendations ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval ， Virtual Event， July 25-30， 2020 ， Xi’an， China ： 871 - 880 .

WANG X ， CHEN W H ， WU J W ， et al . Video captioning via hierarchical reinforcement learning ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition ， June 18-23 ， 2018 ， Salt Lake City， USA ： 4213 - 4222 .

邱玥，陆帅，陆海，等 . 综合能源系统灵活性：基本内涵、数学模型与研究框架［J］. 电力系统自动化， 2022 ， 46 （ 17 ）： 16 - 43 .

QIU Yue ， LU Shuai ， LU Hai ， et al . Flexibility of integrated energy system： basic connotation， mathematical model and research framework ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 17 ）： 16 - 43 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 1998 .

VAN HASSELT H ， GUEZ A ， SILVER D . Deep reinforcement learning with double Q-learning ［C］// Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence ， February 12-17 ， 2016 ， Phoenix， USA .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Multi-period Online Preventive Control Strategy for Power Grid with High Proportion of Renewable Energy Based on Reinforcement Learning

Related Author

LIU Xianchao

LI Guoqing

JIANG Tao

WANG Changjiang

ZHU Xueke

ZHU Jiebei

YU Lujie

GUO Li

Related Institution

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

School of Electrical Automation and Information Engineering, Tianjin University

State Grid Suzhou Power Supply Company

Electric Power Research Institute of China Southern Power Grid Company Limited

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

⁰