Diffusion-policy Learning for Multi-scenario Generalized Boosting of Integrated Energy System Scheduling

DOU Jiaming; WANG Xiaojun; LIU Zhao; SI Fangyuan; HAN Yi

doi:10.7500/AEPS20250109005

您当前的位置：

首页 >

文章列表页 >

Diffusion-policy Learning for Multi-scenario Generalized Boosting of Integrated Energy System Scheduling

Basic Research | 更新时间：2026-02-28

- Diffusion-policy Learning for Multi-scenario Generalized Boosting of Integrated Energy System Scheduling
- Automation of Electric Power Systems Vol. 50, Issue 3, Pages: 145-155(2026)
- 作者机构：
  
  北京交通大学电气工程学院，北京市 100044
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(U24B2082)
- DOI：10.7500/AEPS20250109005
  CLC：
- Received：09 January 2025，
  
  Revised：2025-07-27，
  
  Online First：19 December 2025，
  
  Published：10 February 2026
- 稿件说明：
移动端阅览
窦嘉铭,王小君,刘曌等.面向综合能源系统调度多场景泛化提升的扩散策略学习[J].电力系统自动化,2026,50(3):145-155.

DOU Jiaming,WANG Xiaojun,LIU Zhao,et al.Diffusion-policy Learning for Multi-scenario Generalized Boosting of Integrated Energy System Scheduling[J].Automation of Electric Power Systems,2026,50(3):145-155.
窦嘉铭,王小君,刘曌等.面向综合能源系统调度多场景泛化提升的扩散策略学习[J].电力系统自动化,2026,50(3):145-155. DOI： 10.7500/AEPS20250109005.

DOU Jiaming,WANG Xiaojun,LIU Zhao,et al.Diffusion-policy Learning for Multi-scenario Generalized Boosting of Integrated Energy System Scheduling[J].Automation of Electric Power Systems,2026,50(3):145-155. DOI： 10.7500/AEPS20250109005.

摘要

强化学习（RL）以其高维状态感知及快速决策能力，在推动综合能源系统（IES）调度数字化、智能化方面扮演着重要角色。然而，传统RL因自身模型表达能力有限，跨场景泛化能力不足，在IES多场景调度中受到限制。为此，文中提出了一种基于去噪扩散策略学习的RL调度方法。首先，介绍了扩散生成式人工智能模型的发展概念与基本原理。然后，构建了扩散策略调度学习框架，设计了扩散学习层与智能体优化层。最后，基于关键扩散参数、样本数量、样本分布等多组实验对泛化性能进行讨论，同时，利用t分布的随机近邻嵌入对扩散策略进行事后可解释挖掘。结果表明，相较于IES调度中深度确定性策略梯度等经典RL方法，所提方法能够在优化性能小幅下降的情况下，在源荷剧变、约束变动的场景中保持一定的决策泛化能力。

Abstract

Reinforcement learning (RL) plays a pivotal role in promoting the digitalization and intelligentization of integrated energy system (IES) scheduling due to its capabilities for high-dimensional state perception and rapid decision-making. However

conventional RL is constrained in multi-scenario IES scheduling because of its limited model expressiveness and poor cross-scenario generalization. To address this

an RL scheduling method based on denoising diffusion-policy learning is proposed. First

the developmental concepts and fundamental principles of diffusion generative artificial intelligence models are introduced. Next

a diffusion-policy dispatch learning framework is constructed

and a diffusion learning layer and an agent optimization layer are designed. Finally

the generalization performance is analyzed through extensive experiments considering key diffusion parameters

sample sizes

and sample distributions. Meanwhile

the post-hoc interpretability mining of the diffusion-policy is conducted via t-distributed stochastic neighbor embedding. The results show that

compared with classic RL methods such as deep deterministic policy gradient used in IES dispatch

the proposed method retains considerable decision generalization under drastic source-load fluctuations and changing constraints while incurring only a minor degradation in optimization performance.

关键词

Keywords

references

丁道齐 . 在四大电网能量管理系统引进工程总结和经验交流会上的讲话（摘要）［J］. 电力系统自动化， 1991 ， 15 （ 4 ）： 10 - 12 .

DING Daoqi . Speech at the summary and experience exchange meeting of the introduction project of energy management system in four major power grids （abstract）［J］. Automation of Electric Power Systems ， 1991 ， 15 （ 4 ）： 10 - 12 .

孙庆凯，王小君，王怡，等 . 基于多智能体Nash-QRL的综合能源市场交易优化决策［J］. 电力系统自动化， 2021 ， 45 （ 16 ）： 124 - 133 .

SUN Qingkai ， WANG Xiaojun ， WANG Yi ， et al . Optimal trading decision-making for integrated energy market based on multi-agent Nash-Q reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 16 ）： 124 - 133 .

LI Y Z ， YU C F ， SHAHIDEHPOUR M ， et al . Deep reinforcement learning for smart grid operations： algorithms， applications， and prospects ［J］. Proceedings of the IEEE ， 2023 ， 111 （ 9 ）： 1055 - 1096 .

胡维昊，曹迪，黄琦，等 . 深度强化学习在配电网优化运行中的应用［J］. 电力系统自动化， 2023 ， 47 （ 14 ）： 174 - 191 .

HU Weihao ， CAO Di ， HUANG Qi ， et al . Application of deep reinforcement learning in optimal operation of distribution network ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 14 ）： 174 - 191 .

蔺伟山，王小君，孙庆凯，等 . 不确定性环境下基于深度强化学习的综合能源系统动态调度［J］. 电力系统保护与控制， 2022 ， 50 （ 18 ）： 50 - 60 .

LIN Weishan ， WANG Xiaojun ， SUN Qingkai ， et al . Dynamic dispatch of an integrated energy system based on deep reinforcement learning in an uncertain environment ［J］. Power System Protection and Control ， 2022 ， 50 （ 18 ）： 50 - 60 .

杨挺，赵黎媛，王成山 . 人工智能在电力系统及综合能源系统中的应用综述［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 2 - 14 .

YANG Ting ， ZHAO Liyuan ， WANG Chengshan . Review on application of artificial intelligence in power system and integrated energy system ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 2 - 14 .

范士雄，郭剑波，马士聪，等 . 混合增强智能在电力系统中的应用研究［J］. 电网技术， 2023 ， 47 （ 10 ）： 4081 - 4091 .

FAN Shixiong ， GUO Jianbo ， MA Shicong ， et al . Research on application of hybrid enhanced intelligence in power system ［J］. Power System Technology ， 2023 ， 47 （ 10 ）： 4081 - 4091 .

王坚院士：解好电力行业的关键问题，有可能引领下一波AI浪潮［EB/OL］.［ 2025-01-09 ］. https：//developer.aliyun.com/article/1253583 https://developer.aliyun.com/article/1253583 .

Academician WANG Jian： solving the key problems in the power industry may lead the next wave of AI ［EB/OL］. ［ 2025-01-09 ］. https：//developer.aliyun.com/article/1253583 https://developer.aliyun.com/article/1253583 .

SILVER D ， LEVER G ， HEESS N ， et al . Deterministic policy gradient algorithms ［C］// 31st International Conference on International Conference on Machine Learning ， June 21-26 ， 2014 ， Beijing， China .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. ［ 2025-01-09 ］. https：//arxiv.org/abs/1707.06347v2 https://arxiv.org/abs/1707.06347v2 .

HO J ， JAIN A ， ABBEEL P ， et al . Denoising diffusion probabilistic models ［C］// 34th International Conference on Neural Information Processing Systems ， December 6-12 ， 2020 ， Vancouver， Canada .

ROMBACH R ， BLATTMANN A ， LORENZ D ， et al . High-resolution image synthesis with latent diffusion models ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， June 18-24 ， 2022 ， New Orleans， USA .

LIU Y ， ZHANG K ， LI Y ， et al . Sora： a review on background， technology， limitations， and opportunities of large vision models ［EB/OL］. ［ 2025-01-09 ］. https：//arxiv.org/abs/2402.17177 https://arxiv.org/abs/2402.17177 .

WATSON J L ， JUERGENS D ， BENNETT N R ， et al . De novo design of protein structure and function with RFdiffusion ［J］. Nature ， 2023 ， 620 ： 1089 - 1100 .

MAATEN L ， HINTON G . Visualizing data using t-SNE ［J］. Journal of Machine Learning Research ， 2008 ， 9 （ 11 ）： 2579 - 2605 .

王小君，窦嘉铭，刘曌，等 . 可解释人工智能在电力系统中的应用综述与展望［J］. 电力系统自动化， 2024 ， 48 （ 4 ）： 169 - 191 .

WANG Xiaojun ， DOU Jiaming ， LIU Zhao ， et al . Review and prospect of explainable artificial intelligence and its application in power systems ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 4 ）： 169 - 191 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2025-01-09 ］. https：//arxiv.org/abs/1509.02971v6 https://arxiv.org/abs/1509.02971v6 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

彭寒梅，胡磊，谭貌，等 . 基于深度强化学习的电-气区域综合能源系统安全校正控制决策方法［J］. 电网技术， 2024 ， 48 （ 3 ）： 1019 - 1030 .

PENG Hanmei ， HU Lei ， TAN Mao ， et al . Decision-making method for electricity-gas region integrated energy system security correction based on deep reinforcement learning ［J］. Power System Technology ， 2024 ， 48 （ 3 ）： 1019 - 1030 .

FUJIMOTO S ， VAN HOOF H ， MEGER D . Addressing function approximation error in actor-critic methods ［C］// International Conference on Machine Learning ， July 10-15 ， 2018 ， Stockholm， Sweden .

李嘉文，余涛，张孝顺，等 . 基于改进深度确定性梯度算法的AGC发电功率指令分配方法［J］. 中国电机工程学报， 2021 ， 41 （ 21 ）： 7198 - 7212 .

LI Jiawen ， YU Tao ， ZHANG Xiaoshun ， et al . AGC power generation command allocation method based on improved deep deterministic policy gradient algorithm ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 21 ）： 7198 - 7212 .

梁涛，柴露露，谭建鑫，等 . 基于深度强化学习算法的氢耦合电-热综合能源系统优化调度［J］. 电力自动化设备， 2025 ， 45 （ 1 ）： 59 - 66 .

LIANG Tao ， CHAI Lulu ， TAN Jianxin ， et al . Optimal scheduling of hydrogen coupled electrothermal integrated energy system based on deep reinforcement learning algorithm ［J］. Electric Power Automation Equipment ， 2025 ， 45 （ 1 ）： 59 - 66 .

张磊，吴红斌，何叶，等 . 基于深度强化学习的氢能综合能源系统优化调度方法［J］. 电力系统自动化， 2024 ， 48 （ 16 ）： 132 - 141 .

ZHANG Lei ， WU Hongbin ， HE Ye ， et al . Optimal scheduling method for integrated energy systems with hydrogen based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 16 ）： 132 - 141 .

周祺 . 高效鲁棒强化学习的正则化方法研究［D］. 合肥：中国科学技术大学， 2024 .

ZHOU Qi . Regularization methods for robust and efficient reinforcement learning ［D］. Hefei ： University of Science and Technology of China ， 2024 .

周首，杨豪，张士峰，等 . 针对运载火箭上升段考虑大风区减载的智能姿态控制方法［J］. 国防科技大学学报， 2025 ， 47 （ 3 ）： 51 - 63 .

ZHOU Shou ， YANG Hao ， ZHANG Shifeng ， et al . Intelligent attitude control method of launch vehicle during ascending phase considering load reduction in high wind zone ［J］. Journal of National University of Defense Technology ， 2025 ， 47 （ 3 ）： 51 - 63 .

KARWOWSKI J ， HAYMAN O ， BAI X ， et al . Goodhart’s law in reinforcement learning ［EB/OL］. ［ 2025-01-09 ］. https：//arxiv.org/pdf/2310.09144 https://arxiv.org/pdf/2310.09144 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Construction and Comprehensive Evaluation Method for Trustworthiness Indicator System of Intelligent Assessment Model for Power Grid Stability

Scenario Generation Method of Typhoon Meteorological Load Based on Interpretability Conditional Generative Adversarial Network

Optimal Dispatch of Electricity-Gas-Hydrogen Integrated Energy System Considering Auxiliary Service

Optimal Dispatch of Integrated Energy System with Hydrogen Considering Demand Response and Cascade Energy Utilization

Related Author

LIU Huiyu

WANG Yuhong

SHI Fang

ZHOU Xu

LI Baoluo

JI Kaixuan

LUO Pingping

SHENG Ao

Related Institution

Key Laboratory of Power System Intelligent Dispatch and Control of Ministry of Education (Shandong University)

College of Electrical Engineering, Sichuan University

China Electric Power Research Institute Co., Ltd.

School of Electric Power Engineering, Shanghai University of Electric Power

Electronic and Information Engineering, Tongji University

⁰