Optimal Scheduling Method for Integrated Energy Systems with Hydrogen Based on Deep Reinforcement Learning

ZHANG Lei; WU Hongbin; HE Ye; XU Bin; ZHANG Mingxing; DING Ming

doi:10.7500/AEPS20240102002

您当前的位置：

首页 >

文章列表页 >

Optimal Scheduling Method for Integrated Energy Systems with Hydrogen Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Optimal Scheduling Method for Integrated Energy Systems with Hydrogen Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 48, Issue 16, Pages: 132-141(2024)
- 作者机构：
  
  1.新能源利用与节能安徽省重点实验室(合肥工业大学),安徽省合肥市 230009
  2.国网安徽省电力有限公司电力科学研究院,安徽省合肥市 230601
  3.国网安徽省电力有限公司六安供电公司,安徽省六安市 237000
- 作者简介：
- 基金信息：
  
  the Regional Innovation and Development Joint Fund of National Natural Science Foundation of China(U19A20106);Anhui Provincial Natural Science Foundation of China(2108085UD05);Anhui Provincial Science and Technology Major Special Program of China(202203f07020003)
- DOI：10.7500/AEPS20240102002
  CLC：
- Received：02 January 2024，
  
  Revised：2024-03-21，
  
  Published Online：03 July 2024，
  
  Published：25 August 2024
- 稿件说明：
移动端阅览
张磊,吴红斌,何叶等.基于深度强化学习的氢能综合能源系统优化调度方法[J].电力系统自动化,2024,48(16):132-141.

ZHANG Lei,WU Hongbin,HE Ye,et al.Optimal Scheduling Method for Integrated Energy Systems with Hydrogen Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2024,48(16):132-141.
张磊,吴红斌,何叶等.基于深度强化学习的氢能综合能源系统优化调度方法[J].电力系统自动化,2024,48(16):132-141. DOI： 10.7500/AEPS20240102002.

ZHANG Lei,WU Hongbin,HE Ye,et al.Optimal Scheduling Method for Integrated Energy Systems with Hydrogen Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2024,48(16):132-141. DOI： 10.7500/AEPS20240102002.

摘要

为实现碳减排目标，氢能与综合能源系统的结合成为最具潜力的发展方向之一。针对当前氢能综合能源系统调度策略灵活性不足、复杂系统多目标优化求解困难等问题，提出一种基于深度强化学习的氢能综合能源系统优化调度方法。首先，采用耦合设备的变工况模型，构建风-光-氢-冷-热-电综合能源系统，拓展设备联合供能空间。其次，考虑系统运行成本、碳排放量、系统自供给平衡度和新能源利用率，基于最优解距离构建多目标优化模型，激发智能体探索性。然后，通过时序片段表征优化深度强化学习算法，增强了智能体对系统状态变化的估计精度。最后，在源荷实测数据的基础上设计仿真算例。结果表明，所提方法可以有效提高氢能综合能源系统调度的灵活性，充分挖掘氢能的碳减排潜力，实现调度经济性和环保性的双重优化。

Abstract

In order to achieve carbon reduction targets

the combination of hydrogen energy and integrated energy systems has become one of the most potential development directions. Aiming at the problems such as the insufficient flexibility of scheduling strategy of hydrogen integrated energy system and difficulty in solving multi-objective optimization of complex systems

an optimal scheduling method for hydrogen integrated energy systems based on deep reinforcement learning is proposed. First

the variable operation condition model of coupled equipment is used to construct a wind-solar-hydrogen-cooling-heat-electricity integrated energy system

and expand the joint energy supply space of equipment. Secondly

considering the system operation cost

carbon emissions

system self-supply balance and renewable energy utilization rate

a multi-objective optimization model is built based on the optimal solution distance to stimulate the exploration of the agent. Then

the deep reinforcement learning algorithm is optimized by time segment characterization to enhance the estimation accuracy of the system state change. Finally

a simulation case is designed based on the measured data of the source and load. The results show that the proposed method can effectively improve the scheduling flexibility of the hydrogen integrated energy system

fully tap the carbon emission reduction potential of hydrogen energy

and realize the dual optimization of scheduling economy and environmental protection.

关键词

Keywords

references

陈胜，张景淳，卫志农，等 . 面向能源转型的电-气-氢综合能源系统规划与运行［J］. 电力系统自动化， 2023 ， 47 （ 19 ）： 16 - 30 .

CHEN Sheng ， ZHANG Jingchun ， WEI Zhinong ， et al . Energy transition oriented planning and operation of electricity-gas-hydrogen integrated energy system ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 19 ）： 16 - 30 .

曾鸣，刘英新，周鹏程，等 . 综合能源系统建模及效益评价体系综述与展望［J］. 电网技术， 2018 ， 42 （ 6 ）： 1697 - 1708 .

ZENG Ming ， LIU Yingxin ， ZHOU Pengcheng ， et al . Review and prospects of integrated energy system modeling and benefit evaluation ［J］. Power System Technology ， 2018 ， 42 （ 6 ）： 1697 - 1708 .

BERJAWI A E H ， WALKER S L ， PATSIOS C ， et al . An evaluation framework for future integrated energy systems： a whole energy systems approach ［J］. Renewable and Sustainable Energy Reviews ， 2021 ， 145 ： 111163 .

郜捷，宋洁，王剑晓，等 . 支撑中国能源安全的电氢耦合系统形态与关键技术［J］. 电力系统自动化， 2023 ， 47 （ 19 ）： 1 - 15 .

GAO Jie ， SONG Jie ， WANG Jianxiao ， et al . Form and key technologies of integrated electricity-hydrogen system supporting energy security in China ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 19 ）： 1 - 15 .

陈锦鹏，胡志坚，陈颖光，等 . 考虑阶梯式碳交易机制与电制氢的综合能源系统热电优化［J］. 电力自动化设备， 2021 ， 41 （ 9 ）： 48 - 55 .

CHEN Jinpeng ， HU Zhijian ， CHEN Yingguang ， et al . Thermoelectric optimization of integrated energy system considering ladder-type carbon trading mechanism and electric hydrogen production ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 9 ）： 48 - 55 .

高玉，王琦，陈严，等 . 考虑需求响应和能量梯级利用的含氢综合能源系统优化调度［J］. 电力系统自动化， 2023 ， 47 （ 4 ）： 51 - 59 .

GAO Yu ， WANG Qi ， CHEN Yan ， et al . Optimal dispatch of integrated energy system with hydrogen considering demand response and cascade energy utilization ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 4 ）： 51 - 59 .

HAGGI H ， SUN W ， FENTON J M ， et al . Proactive rolling-horizon-based scheduling of hydrogen systems for resilient power grids ［J］. IEEE Transactions on Industry Applications ， 2022 ， 58 （ 2 ）： 1737 - 1746 .

史喆，梁毅，李华，等 . 计及灵活性多目标电-热-交通综合能源系统区间优化运行［J］. 电力系统保护与控制， 2022 ， 50 （ 21 ）： 33 - 42 .

SHI Zhe ， LIANG Yi ， LI Hua ， et al . Interval optimal operation of a multi-objective electric-thermal-transportation integrated energy system considering flexibility ［J］. Power System Protection and Control ， 2022 ， 50 （ 21 ）： 33 - 42 .

马燕峰，谢家荣，赵书强，等 . 考虑园区综合能源系统接入的主动配电网多目标优化调度［J］. 电力系统自动化， 2022 ， 46 （ 13 ）： 53 - 61 .

MA Yanfeng ， XIE Jiarong ， ZHAO Shuqiang ， et al . Multi-objective optimal dispatching for active distribution network considering park-level integrated energy system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 13 ）： 53 - 61 .

曾博，徐富强，刘裕，等 . 考虑可再生能源与需求响应协同增效的能量枢纽多目标区间优化规划方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7212 - 7225 .

ZENG Bo ， XU Fuqiang ， LIU Yu ， et al . Multi-objective interval optimization approach for energy hub planning with consideration of renewable energy and demand response synergies ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7212 - 7225 .

丁煜蓉，陈红坤，吴军，等 . 计及综合能效的电-气-热综合能源系统多目标优化调度［J］. 电力系统自动化， 2021 ， 45 （ 2 ）： 64 - 73 .

DING Yurong ， CHEN Hongkun ， WU Jun ， et al . Multi-objective optimal dispatch of electricity-gas-heat integrated energy system considering comprehensive energy efficiency ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 2 ）： 64 - 73 .

陈晚晴，穆云飞，贾宏杰，等 . 考虑设备变工况特性的区域综合能源系统优化调度方法［J］. 电网技术， 2021 ， 45 （ 3 ）： 951 - 958 .

CHEN Wanqing ， MU Yunfei ， JIA Hongjie ， et al . Operation optimization method for regional integrated energy system considering part-load performances of devices ［J］. Power System Technology ， 2021 ， 45 （ 3 ）： 951 - 958 .

彭春华，郑聪，陈婧，等 . 基于置信间隙决策的综合能源系统鲁棒优化调度［J］. 中国电机工程学报， 2021 ， 41 （ 16 ）： 5593 - 5604 .

PENG Chunhua ， ZHENG Cong ， CHEN Jing ， et al . Robust optimal dispatching of integrated energy system based on confidence gap decision ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 16 ）： 5593 - 5604 .

聂欢欢，张家琦，陈颖，等 . 基于双层强化学习方法的多能园区实时经济调度［J］. 电网技术， 2021 ， 45 （ 4 ）： 1330 - 1336 .

NIE Huanhuan ， ZHANG Jiaqi ， CHEN Ying ， et al . Real-time economic dispatch of community integrated energy system based on a double-layer reinforcement learning method ［J］. Power System Technology ， 2021 ， 45 （ 4 ）： 1330 - 1336 .

蔺伟山，王小君，孙庆凯，等 . 不确定性环境下基于深度强化学习的综合能源系统动态调度［J］. 电力系统保护与控制， 2022 ， 50 （ 18 ）： 50 - 60 .

LIN Weishan ， WANG Xiaojun ， SUN Qingkai ， et al . Dynamic dispatch of an integrated energy system based on deep reinforcement learning in an uncertain environment ［J］. Power System Protection and Control ， 2022 ， 50 （ 18 ）： 50 - 60 .

YI Z G ， LUO Y S ， WESTOVER T ， et al . Deep reinforcement learning based optimization for a tightly coupled nuclear renewable integrated energy system ［J］. Applied Energy ， 2022 ， 328 ： 120113 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

ZHANG B ， HU W H ， LI J H ， et al . Dynamic energy conversion and management strategy for an integrated electricity and natural gas system with renewable energy： deep reinforcement learning approach ［J］. Energy Conversion and Management ， 2020 ， 220 ： 113063 .

SONG D R ， MENG W Q ， DONG M ， et al . A critical survey of integrated energy system： summaries， methodologies and analysis ［J］. Energy Conversion and Management ， 2022 ， 266 ： 115863 .

KANDIDAYENI M ， MACIAS A ， KHALATBARISOLTANI A ， et al . Benchmark of proton exchange membrane fuel cell parameters extraction with metaheuristic optimization algorithms ［J］. Energy ， 2019 ， 183 ： 912 - 925 .

随权，马啸，魏繁荣，等 . 计及燃料电池热-电综合利用的能源网日前调度优化策略［J］. 中国电机工程学报， 2019 ， 39 （ 6 ）： 1603 - 1613 .

SUI Quan ， MA Xiao ， WEI Fanrong ， et al . Day-ahead dispatching optimization strategy for energy network considering fuel cell thermal-electric comprehensive utilization ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 6 ）： 1603 - 1613 .

BEHZADI A ， ARABKOOHSAR A ， GHOLAMIAN E . Multi-criteria optimization of a biomass-fired proton exchange membrane fuel cell integrated with organic Rankine cycle/thermoelectric generator using different gasification agents ［J］. Energy ， 2020 ， 201 ： 117640 .

朱兰，王吉，唐陇军，等 . 计及电转气精细化模型的综合能源系统鲁棒随机优化调度［J］. 电网技术， 2019 ， 43 （ 1 ）： 116 - 126 .

ZHU Lan ， WANG Ji ， TANG Longjun ， et al . Robust stochastic optimal dispatching of integrated energy systems considering refined power-to-gas model ［J］. Power System Technology ， 2019 ， 43 （ 1 ）： 116 - 126 .

ZHUANG C Q ， CHOUDHARY R ， MAVROGIANNI A . Uncertainty-based optimal energy retrofit methodology for building heat electrification with enhanced energy flexibility and climate adaptability ［J］. Applied Energy ， 2023 ， 341 ： 121111 .

LUBIS A ， JEONG J ， GIANNETTI N ， et al . Operation performance enhancement of single-double-effect absorption chiller ［J］. Applied Energy ， 2018 ， 219 ： 299 - 311 .

SHEN W ， CHEN X ， QIU J ， et al . A comprehensive review of variable renewable energy levelized cost of electricity ［J］. Renewable and Sustainable Energy Reviews ， 2020 ， 133 ： 110301 .

姜雅男，于永进，李长云 . 基于改进TOPSIS模型的绝缘纸机-热老化状态评估方法［J］. 电工技术学报， 2022 ， 37 （ 6 ）： 1572 - 1582 .

JIANG Yanan ， YU Yongjin ， LI Changyun . Evaluation method of insulation paper deterioration status with mechanical-thermal synergy based on improved TOPSIS model ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 6 ）： 1572 - 1582 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

SUN Q K ， WANG X J ， LIU Z ， et al . Multi-agent energy management optimization for integrated energy systems under the energy and carbon co-trading market ［J］. Applied Energy ， 2022 ， 324 ： 119646 .

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI J W ， YU T ， ZHANG X S ， et al . Efficient experience replay based deep deterministic policy gradient for AGC dispatch in integrated energy system ［J］. Applied Energy ， 2021 ， 285 ： 116386 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Multi-fault Recovery Strategy for Integrated Energy System Considering Optimal Exergy Flow

Low-carbon Operation Optimization Method for Distributed Smart Grid Based on Electricity-Hydrogen-Heat Peer-to-peer Trading

Load Restoration Strategy for Integrated Electricity-Gas Energy System with Mobile Hydrogen Energy Storage Under Typhoon Disasters

Technological Requirement Analysis and Prospect of Energy Management for Off-grid Renewable Power-to-Hydrogen Systems

Related Author

LI Hongzhong

LUO Longxiao

WU Zeping

MI Yang

WANG Jie

JIA Hongjie

JIN Xiaolong

MU Yunfei

Related Institution

College of Electrical Engineering, Shanghai University of Electric Power

Construction Branch of State Grid Zhejiang Electric Power Co., Ltd.

Key Laboratory of Smart Grid of Ministry of Education (Tianjin University)

State Grid Economic and Technological Research Institute Co., Ltd.

State Grid Hebei Economic Research Institute

⁰