Energy Management and Optimization Strategy for Microgrid Based on Improved Dueling Deep Q Network Algorithm

Haitao LI; Baochen SHEN; Yanhong YANG; Wei PEI; Xin LYU; Yuting HAN

doi:10.7500/AEPS20210809002

您当前的位置：

首页 >

文章列表页 >

Energy Management and Optimization Strategy for Microgrid Based on Improved Dueling Deep Q Network Algorithm

Basic Research | 更新时间：2025-06-16

- Energy Management and Optimization Strategy for Microgrid Based on Improved Dueling Deep Q Network Algorithm
- Automation of Electric Power Systems Vol. 46, Issue 7, Pages: 42-49(2022)
- 作者机构：
  
  1.北京工业大学信息学部，北京市 100124
  2.中国科学院电工研究所，北京市 100190
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51777202);Youth Innovation Promotion Association, Chinese Academy of Sciences(2021136)
- DOI：10.7500/AEPS20210809002
  CLC：
- Received：09 August 2021，
  
  Revised：2021-10-13，
  
  Published Online：28 December 2021，
  
  Published：10 April 2022
- 稿件说明：
移动端阅览
黎海涛,申保晨,杨艳红等.基于改进竞争深度Q网络算法的微电网能量管理与优化策略[J].电力系统自动化,2022,46(7):42-49.

LI Haitao,SHEN Baochen,YANG Yanhong,et al.Energy Management and Optimization Strategy for Microgrid Based on Improved Dueling Deep Q Network Algorithm[J].Automation of Electric Power Systems,2022,46(7):42-49.
黎海涛,申保晨,杨艳红等.基于改进竞争深度Q网络算法的微电网能量管理与优化策略[J].电力系统自动化,2022,46(7):42-49. DOI： 10.7500/AEPS20210809002.

LI Haitao,SHEN Baochen,YANG Yanhong,et al.Energy Management and Optimization Strategy for Microgrid Based on Improved Dueling Deep Q Network Algorithm[J].Automation of Electric Power Systems,2022,46(7):42-49. DOI： 10.7500/AEPS20210809002.

摘要

可再生能源发电的随机波动性和储能运行控制的时间序列耦合特性给微电网的能量管理与最优运行带来了诸多挑战，成为学术界研究的热点问题。文中提出一种基于改进竞争深度Q网络算法的微电网能量管理与优化方法，采用多参数动作探索机制和优化设计的神经网络结构，对分布式可再生能源的功率输出、能源交易市场的电价和电力负荷的状态等环境信息进行学习，并运用学习到的策略进行微电网能量管理与优化。仿真结果表明，基于改进竞争深度Q网络算法的微电网能量管理与优化策略的性能优于基于场景的随机规划算法、深度Q网络算法和竞争深度Q网络算法。

Abstract

The stochastic volatility of renewable energy generation and the time series coupling characteristics of energy storage operation control bring many challenges to the energy management and optimal operation of microgrid

which becomes a hot topic for academic research. This paper proposes an energy management and optimization strategy for microgrid based on improved dueling deep Q network (DQN) algorithm. The strategy adopts a multi-parameter operation exploration mechanism and an optimally designed neural network structure to learn the environmental information such as the power output of distributed renewable energy

the electricity price of energy trading market and the state of electric load

and applies the learned strategy to microgrid energy management and optimization. The simulation results show that the performance of the energy management and optimization strategy for microgrid based on the improved dueling DQN algorithm is better than the scenario-based stochastic programming algorithm

the DQN algorithm and the dueling DQN algorithm.

关键词

Keywords

references

陈恒安，管霖，卢操，等 . 新能源发电为主电源的独立微网多目标优化调度模型和算法［J］. 电网技术， 2020 ， 44 （ 2 ）： 664 - 674 .

CHEN Heng'an ， GUAN Lin ， LU Cao ， et al . Multi-objective optimal dispatch model and its algorithm in isolated microgrid with renewable energy generation as main power supply ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 664 - 674 .

毕锐，刘先放，丁明，等 . 以提高消纳能力为目标的可再生能源发电集群划分方法［J］. 中国电机工程学报， 2019 ， 39 （ 22 ）： 6583 - 6592 .

BI Rui ， LIU Xianfang ， DING Ming ， et al . Renewable energy generation cluster partition method aiming at improving accommodation capacity ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 22 ）： 6583 - 6592 .

杨艳红，裴玮，邓卫，等 . 计及蓄电池储能寿命影响的微电网日前调度优化［J］. 电工技术学报， 2015 ， 30 （ 22 ）： 172 - 180 .

YANG Yanhong ， PEI Wei ， DENG Wei ， et al . Day-ahead scheduling optimization for microgrid with battery life model ［J］. Transactions of China Electrotechnical Society ， 2015 ， 30 （ 22 ）： 172 - 180 .

徐业琰，廖清芬，刘涤尘，等 . 基于综合需求响应和博弈的区域综合能源系统多主体日内联合优化调度［J］. 电网技术， 2019 ， 43 （ 7 ）： 2506 - 2518 .

XU Yeyan ， LIAO Qingfen ， LIU Dichen ， et al . Multi-player intraday optimal dispatch of integrated energy system based on integrated demand response and games ［J］. Power System Technology ， 2019 ， 43 （ 7 ）： 2506 - 2518 .

杨世博，孙亮，陈立东，等 . 计及分时电价的含冷热电联供型微网的配电网系统协调优化调度［J］. 电力自动化设备， 2021 ， 41 （ 4 ）： 15 - 23 .

YANG Shibo ， SUN Liang ， CHEN Lidong ， et al . Coordinated optimal scheduling of distribution network with CCHP-based microgird considering time-of-use electricity price ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 4 ）： 15 - 23 .

LEE H ， KANG J W ， CHOI B Y ， et al . Energy management system of DC microgrid in grid-connected and stand-alone modes： control， operation and experimental validation ［J］. Energies ， 2021 ， 14 （ 3 ）： 581 .

任萱，李桐歌，马骏毅，等 . 考虑荷电状态的光伏微电网混合储能容量优化配置［J/OL］. 电测与仪表［ 2021-08-09 ］. http：//kns.cnki.net/kcms/detail/23.1202.TH.20210419.1341.008.html http://kns.cnki.net/kcms/detail/23.1202.TH.20210419.1341.008.html .

REN Xuan ， LI Tongge ， MA Junyi ， et al . Optimal allocation of hybrid energy storage capacity in PV micro-grid considering SOC ［J/OL］. Electrical Measurement & Instrumentation ［ 2021-08-09 ］. http：//kns.cnki.net/kcms/detail/23.1202.TH.20210419.1341.008.html http://kns.cnki.net/kcms/detail/23.1202.TH.20210419.1341.008.html .

邓思成，郑天文，陈来军，等 . 提高关键负荷供电可靠性的交直流微网分布式能量优化管理策略［J］. 高电压技术， 2021 ， 47 （ 1 ）： 55 - 62 .

DENG Sicheng ， ZHENG Tianwen ， CHEN Laijun ， et al . Optimal management strategy for distributed energy with enhanced power supply reliability of critical loads for AC/DC hybrid microgrids ［J］. High Voltage Engineering ， 2021 ， 47 （ 1 ）： 55 - 62 .

张晗，杨继斌，张继业，等 . 基于多种群萤火虫算法的车载燃料电池直流微电网能量管理优化［J］. 中国电机工程学报， 2021 ， 41 （ 3 ）： 833 - 846 .

ZHANG Han ， YANG Jibin ， ZHANG Jiye ， et al . Multiple-population firefly algorithm-based energy management strategy for vehicle-mounted fuel cell DC microgrid ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 3 ）： 833 - 846 .

付一木，刘明波 . 求解多目标随机动态经济调度问题的场景解耦方法［J］. 电力系统自动化， 2014 ， 38 （ 9 ）： 34 - 40 .

FU Yimu ， LIU Mingbo . Scenario decomposition method for multi-objective stochastic dynamic economical dispatch problem ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 9 ）： 34 - 40 .

陈寒，唐忠，鲁家阳，等 . 基于CVaR量化不确定性的微电网优化调度研究［J］. 电力系统保护与控制， 2021 ， 49 （ 5 ）： 105 - 115 .

CHEN Han ， TANG Zhong ， LU Jiayang ， et al . Research on optimal dispatch of a microgrid based on CVaR quantitative uncertainty ［J］. Power System Protection and Control ， 2021 ， 49 （ 5 ）： 105 - 115 .

熊珞琳，毛帅，唐漾，等 . 基于强化学习的综合能源系统管理综述［J/OL］. 自动化学报［ 2021-08-09 ］. http：//kns.cnki.net/kcms/detail/11.2109.TP.20210520.1516.002.html http://kns.cnki.net/kcms/detail/11.2109.TP.20210520.1516.002.html .

XIONG Luolin ， MAO Shuai ， TANG Yang ， et al . Reinforcement learning based integrated energy system management： a survey ［J/OL］. Acta Automatica Sinica ［ 2021-08-09 ］. http：//kns.cnki.net/kcms/detail/11.2109.TP.20210520.1516.002.html http://kns.cnki.net/kcms/detail/11.2109.TP.20210520.1516.002.html .

BUI V H ， HUSSAIN A ， KIM H M . Q-learning-based operation strategy for community battery energy storage system （CBESS） in microgrid system ［J］. Energies ， 2019 ， 12 （ 9 ）： 1789 .

刘俊峰，陈剑龙，王晓生，等 . 基于深度强化学习的微能源网能量管理与优化策略研究［J］. 电网技术， 2020 ， 44 （ 10 ）： 3794 - 3803 .

LIU Junfeng ， CHEN Jianlong ， WANG Xiaosheng ， et al . Energy management and optimization of multi-energy grid based on deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3794 - 3803 .

XU X ， JIA Y W ， XU Y ， et al . A multi-agent reinforcement learning-based data-driven method for home energy management ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3201 - 3211 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

李涛，胡维昊，李坚，等 . 基于深度强化学习算法的光伏-抽蓄互补系统智能调度［J］. 电工技术学报， 2020 ， 35 （ 13 ）： 2757 - 2768 .

LI Tao ， HU Weihao ， LI Jian ， et al . Intelligent economic dispatch for PV-PHS integrated system： a deep reinforcement learning-based approach ［J］. Transactions of China Electrotechnical Society ， 2020 ， 35 （ 13 ）： 2757 - 2768 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 14 - 22 .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy in microgrid based on algorithm of deep expected Q network ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 14 - 22 .

董继军，陈浩，周雪松，等 . 直流微电网孤岛运行控制策略研究［J］. 电力系统保护与控制， 2020 ， 48 （ 17 ）： 115 - 121 .

DONG Jijun ， CHEN Hao ， ZHOU Xuesong ， et al . Research on control strategy of a DC microgrid in isolated operation ［J］. Power System Protection and Control ， 2020 ， 48 （ 17 ）： 115 - 121 .

BARBOUR E ， PARRA D ， AWWAD Z ， et al . Community energy storage： a smart choice for the smart grid？［J］. Applied Energy ， 2018 ， 212 ： 489 - 497 .

TASDIGHI M ， GHASEMI H ， RAHIMI-KIAN A . Residential microgrid scheduling based on smart meters data and temperature dependent thermal load modeling ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 1 ）： 349 - 357 .

NAKABI T A ， TOIVANEN P . Optimal price-based control of heterogeneous thermostatically controlled loads under uncertainty using LSTM networks and genetic algorithms ［J］. F1000Research ， 2019 ， 8 ： 1619 .

ZHANG C ， XU Y ， DONG Z Y ， et al . Robust coordination of distributed generation and price-based demand response in microgrids ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4236 - 4247 .

JIAN L N ， XUE H H ， XU G Q ， et al . Regulated charging of plug-in hybrid electric vehicles for minimizing load variance in household smart microgrid ［J］. IEEE Transactions on Industrial Electronics ， 2013 ， 60 （ 8 ）： 3218 - 3226 .

刘建伟，高峰，罗雄麟 . 基于值函数和策略梯度的深度强化学习综述［J］. 计算机学报， 2019 ， 42 （ 6 ）： 1406 - 1438 .

LIU Jianwei ， GAO Feng ， LUO Xionglin . Survey of deep reinforcement learning based on value function and policy gradient ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 6 ）： 1406 - 1438 .

WANG Ziyu ， SCHAUL T ， HESSEL M ， et al . Dueling network architectures for deep reinforcement learning ［C］// 33rd International Conference on Machine Learning （ICML'16 ）， June 19-24 ， 2016 ， New York， USA ： 2939 - 2947 .

Fingrid open datasets ［EB/OL］. ［ 2021-08-09 ］. https：//data.fingrid.fi/en/dataset https://data.fingrid.fi/en/dataset .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Frequency Regulation Method for Motor Load Participating in Fast Frequency Response in Independent Microgrids

Equivalent Projection Based Cooperative Optimal Operation Method for Multi-microgrid Flexible Distribution System

Review of Stability Analysis Methods and Improvement Measures for Power System Dominated by Multiple Virtual Synchronous Generators

Related Author

FANG Yan

LI Jinghua

LAN Fei

XIE Lingling

LAI Yening

FANG Yan

LI Jinghua

LAN Fei

Related Institution

Guangxi Key Laboratory of Power System Optimization and Energy Technology (Guangxi University)

State Grid Electric Power Research Institute (NARI Group Corporation)

Key Laboratory of Guangxi Electric Power System Optimization and Energy-saving Technologys (Guangxi University)

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

School of Electrical Engineering, Southeast University

⁰