Energy Management Strategy for Microgrid Based on Deep Expected Q Network Algorithm

Changsen FENG; Yu ZHANG; Fushuan WEN; Chengjin YE; Youbing ZHANG

doi:10.7500/AEPS20201011005

您当前的位置：

首页 >

文章列表页 >

Energy Management Strategy for Microgrid Based on Deep Expected Q Network Algorithm

Basic Research | 更新时间：2025-06-16

- Energy Management Strategy for Microgrid Based on Deep Expected Q Network Algorithm
- Automation of Electric Power Systems Vol. 46, Issue 3, Pages: 14-22(2022)
- 作者机构：
  
  1.浙江工业大学信息工程学院，浙江省杭州市 310023
  2.浙江大学电气工程学院，浙江省杭州市 310007
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51777193);National Natural Science Foundation of China-Shanxi Coal Based Low Carbon Joint Fund(U1910216)
- DOI：10.7500/AEPS20201011005
  CLC：
- Received：10 October 2020，
  
  Revised：2021-01-19，
  
  Published Online：23 April 2021，
  
  Published：10 February 2022
- 稿件说明：
移动端阅览
冯昌森,张瑜,文福拴等.基于深度期望Q网络算法的微电网能量管理策略[J].电力系统自动化,2022,46(3):14-22.

FENG Changsen,ZHANG Yu,WEN Fushuan,et al.Energy Management Strategy for Microgrid Based on Deep Expected Q Network Algorithm[J].Automation of Electric Power Systems,2022,46(3):14-22.
冯昌森,张瑜,文福拴等.基于深度期望Q网络算法的微电网能量管理策略[J].电力系统自动化,2022,46(3):14-22. DOI： 10.7500/AEPS20201011005.

FENG Changsen,ZHANG Yu,WEN Fushuan,et al.Energy Management Strategy for Microgrid Based on Deep Expected Q Network Algorithm[J].Automation of Electric Power Systems,2022,46(3):14-22. DOI： 10.7500/AEPS20201011005.

摘要

随着光伏发电在微电网中的渗透率不断提高，其发电出力的不确定性和时变性为微电网的经济运行带来了挑战。在构建经济调度模型时，就需要适当模拟不确定变量并相应地发展高效求解算法。在此背景下，文中提出能够有效计及不确定性因素的深度强化学习算法，以实时求解微电网的优化运行问题。首先，采用马尔可夫决策过程对微电网优化运行问题进行建模，用实时奖励函数代替目标函数和约束条件，利用其与环境互动，寻找最优策略。其次，借助贝叶斯神经网络对不确定的学习环境建模，进而在马尔可夫决策过程中有效考虑状态转移的随机过程。为此，提出双深度期望Q网络算法，通过考虑状态转移的随机性，优化一般深度Q网络算法的Q迭代规则，显著提高算法的收敛速度。最后，采用算例验证了所提模型和算法的有效性。

Abstract

With the increasing penetration of photovoltaic units in microgrids

the uncertainty and time-variability of its power generation have brought challenges to the economic operation of microgrids. When constructing an economic dispatch model

it is necessary to properly simulate the uncertain variables and develop the efficient solving algorithms accordingly. In this context

this paper proposes a deep reinforcement learning algorithm that can effectively account for uncertain factors to solve the problem of optimal operation of microgrids in real time. Firstly

the Markov decision process (MDP) is used to model the optimization operation of microgrids

and the real-time reward function is used to replace the objective functions and constraint conditions

and the interaction with the environment is used to find the optimal strategy. Secondly

the uncertain learning environment is modeled with the help of Bayesian neural networks

and then the stochastic process of state transfer is effectively considered in the MDP. Therefore

a double depth expected Q network algorithm is proposed. By considering the randomness of the state transfer

the Q iteration rules of the general deep Q network algorithm are optimized to significantly improve the convergence speed of the algorithm. Finally

a case is used to verify the effectiveness of the proposed model and algorithm.

关键词

Keywords

references

王薪苹，卫志农，孙国强，等 . 计及分布式电源和负荷不确定性的多目标配网重构［J］. 电力自动化设备， 2016 ， 36 （ 6 ）： 116 - 121 .

WANG Xinping ， WEI Zhinong ， SUN Guoqiang ， et al . Multi-objective distribution network reconfiguration considering uncertainties of distributed generation and load ［J］. Electric Power Automation Equipment ， 2016 ， 36 （ 6 ）： 116 - 121 .

吴界辰，艾欣，胡俊杰，等 . 计及不确定因素的需求侧灵活性资源优化调度［J］. 电力系统自动化， 2019 ， 43 （ 14 ）： 73 - 80 .

WU Jiechen ， AI Xin ， HU Junjie ， et al . Optimal dispatch of flexible resource on demand side considering uncertainties ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 14 ）： 73 - 80 .

许寅，李佳旭，王颖，等 . 考虑光伏出力不确定性的园区配电网日前运行计划［J］. 电力自动化设备， 2020 ， 40 （ 5 ）： 85 - 91 .

XU Yin ， LI Jiaxu ， WANG Ying ， et al . Day-ahead operation plan for campus distribution network considering uncertainty of photovoltaic output ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 5 ）： 85 - 91 .

王健，谢桦，孙健 . 基于机会约束规划的主动配电网能量优化调度研究［J］. 电力系统保护与控制， 2014 ， 42 （ 13 ）： 45 - 52 .

WANG Jian ， XIE Hua ， SUN Jian . Study on energy dispatch strategy of active distribution network using chance-constrained programming ［J］. Power System Protection and Control ， 2014 ， 42 （ 13 ）： 45 - 52 .

沈欣炜，郭庆来，许银亮，等 . 考虑多能负荷不确定性的区域综合能源系统鲁棒规划［J］. 电力系统自动化， 2019 ， 43 （ 7 ）： 34 - 41 .

SHEN Xinwei ， GUO Qinglai ， XU Yinliang ， et al . Robust planning method for regional integrated energy system considering multi-energy load uncertainties ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 7 ）： 34 - 41 .

肖浩，裴玮，孔力 . 基于模型预测控制的微电网多时间尺度协调优化调度［J］. 电力系统自动化， 2016 ， 40 （ 18 ）： 7 - 14 .

XIAO Hao ， PEI Wei ， KONG Li . Multi-time scale coordinated optimal dispatch of microgrid based on model predictive control ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 18 ）： 7 - 14 .

朱嘉远，刘洋，许立雄，等 . 考虑风电消纳的热电联供型微电网日前鲁棒经济调度［J］. 电力系统自动化， 2019 ， 43 （ 4 ）： 40 - 48 .

ZHU Jiayuan ， LIU Yang ， XU Lixiong ， et al . Robust day-ahead economic dispatch of microgrid with combined heat and power system considering wind power accommodation ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 4 ）： 40 - 48 .

张忠，王建学，曹晓宇 . 基于负荷分类调度的孤岛型微电网能量管理方法［J］. 电力系统自动化， 2015 ， 39 （ 15 ）： 17 - 23 .

ZHANG Zhong ， WANG Jianxue ， CAO Xiaoyu . An energy management method of island microgrid based on load classification and scheduling ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 15 ）： 17 - 23 .

潘晓杰，张立伟，张文朝，等 . 基于飞蛾扑火优化算法的多运行方式电力系统稳定器参数协调优化方法［J］. 电网技术， 2020 ， 44 （ 8 ）： 3038 - 3046 .

PAN Xiaojie ， ZHANG Liwei ， ZHANG Wenchao ， et al . Multi-operation mode PSS parameter coordination optimization method based on moth-flame optimization algorithm ［J］. Power System Technology ， 2020 ， 44 （ 8 ）： 3038 - 3046 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

HUANG Q H ， HUANG R K ， HAO W T ， et al . Adaptive power system emergency control using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 2 ）： 1171 - 1182 .

YANG Q L ， WANG G ， SADEGHI A ， et al . Two-time scale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 3 ）： 2313 - 2323 .

WANG B ， LI Y ， MING W Y ， et al . Deep reinforcement learning method for demand response management of interruptible load ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3146 - 3155 .

于一潇，杨佳峻，杨明，等 . 基于深度强化学习的风电场储能系统预测决策一体化调度［J］. 电力系统自动化， 2021 ， 45 （ 1 ）： 132 - 140 .

YU Yixiao ， YANG Jiajun ， YANG Ming ， et al . Prediction and decision integrated scheduling of energy storage system in wind farm based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 1 ）： 132 - 140 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

NGUYEN T T ， NGUYEN N D ， NAHAVANDI S . Deep reinforcement learning for multiagent systems： a review of challenges， solutions， and applications ［J］. IEEE Transactions on Cybernetics ， 2020 ， 50 （ 9 ）： 3826 - 3839 .

杨龙，吴红斌，丁明 . 新能源电网中考虑特征选择的Bi-LSTM网络短期负荷预测［J］. 电力系统自动化， 2021 ， 45 （ 3 ）： 166 - 173 .

YANG Long ， WU Hongbin ， DING Ming . Short-term load forecasting in renewable energy grid based on bi-directional long short-term memory network considering feature selection ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 3 ）： 166 - 173 .

李正明，梁彩霞，王满商 . 基于PSO-DBN神经网络的光伏短期发电出力预测［J］. 电力系统保护与控制， 2020 ， 48 （ 8 ）： 149 - 154 .

LI Zhengming ， LIANG Caixia ， WANG Manshang . Short-term power generation output prediction based on a PSO-DBN neural network ［J］. Power System Protection and Control ， 2020 ， 48 （ 8 ）： 149 - 154 .

赵康宁，蒲天骄，王新迎，等 . 基于改进贝叶斯神经网络的光伏出力概率预测［J］. 电网技术， 2019 ， 43 （ 12 ）： 4377 - 4386 .

ZHAO Kangning ， PU Tianjiao ， WANG Xinying ， et al . Probabilistic forecasting for photovoltaic power based on improved Bayesian neural network ［J］. Power System Technology ， 2019 ， 43 （ 12 ）： 4377 - 4386 .

FENG C S ， WEN F S ， SHI Y ， et al . Coalitional game-based transactive energy management in local energy communities ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 3 ）： 1729 - 1740 .

何颖源，陈永翀，刘勇，等 . 储能的度电成本和里程成本分析［J］. 电工电能新技术， 2019 ， 38 （ 9 ）： 1 - 10 .

HE Yingyuan ， CHEN Yongchong ， LIU Yong ， et al . Analysis of cost per kilowatt-hour and cost per mileage for energy storage technologies ［J］. Advanced Technology of Electrical Engineering and Energy ， 2019 ， 38 （ 9 ）： 1 - 10 .

PAN S J ， YANG Q . A survey on transfer learning ［J］. IEEE Transactions on Knowledge and Data Engineering ， 2010 ， 22 （ 10 ）： 1345 - 1359 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Parameter Optimization Method for Hydropower Clusters Balancing Ultra-low-frequency Oscillation Suppression and Primary Frequency Regulation

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

Fushuan WEN

Chengjin YE

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

Related Institution

School of Electrical Engineering, Zhejiang University

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

⁰