Integrated Frequency Control Strategy for Islanded Microgrid with Vehicle-to-Grid Based on Improved Evolutionary Deep Reinforcement Learning

FAN Peixiao; YANG Jun; KE Song; WEN Yuxin; LI Yonghui; ZHOU Guiguo

doi:10.7500/AEPS20230318002

您当前的位置：

首页 >

文章列表页 >

Integrated Frequency Control Strategy for Islanded Microgrid with Vehicle-to-Grid Based on Improved Evolutionary Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Integrated Frequency Control Strategy for Islanded Microgrid with Vehicle-to-Grid Based on Improved Evolutionary Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 20, Pages: 23-32(2023)
- 作者机构：
  
  1.交直流智能配电网湖北省工程中心，湖北省武汉市 430072
  2.武汉大学电气与自动化学院，湖北省武汉市 430072
  3.武汉汉测电气有限公司，湖北省武汉市 430070
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51977154)
- DOI：10.7500/AEPS20230318002
  CLC：
- Received：18 March 2023，
  
  Revised：2023-06-28，
  
  Published Online：15 September 2023，
  
  Published：25 October 2023
- 稿件说明：
移动端阅览
范培潇,杨军,柯松等.基于改进EDRL的含V2G孤岛微电网频率综合控制策略[J].电力系统自动化,2023,47(20):23-32.

FAN Peixiao,YANG Jun,KE Song,et al.Integrated Frequency Control Strategy for Islanded Microgrid with Vehicle-to-Grid Based on Improved Evolutionary Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(20):23-32.
范培潇,杨军,柯松等.基于改进EDRL的含V2G孤岛微电网频率综合控制策略[J].电力系统自动化,2023,47(20):23-32. DOI： 10.7500/AEPS20230318002.

FAN Peixiao,YANG Jun,KE Song,et al.Integrated Frequency Control Strategy for Islanded Microgrid with Vehicle-to-Grid Based on Improved Evolutionary Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(20):23-32. DOI： 10.7500/AEPS20230318002.

摘要

针对孤岛微电网中源荷不确定性所导致的频率失稳、电动汽车用户充电需求受损与微型燃气轮机调控成本增加等问题，提出了基于改进进化-深度强化学习(EDRL)的含电动汽车与电网互动(V2G)孤岛微电网频率综合控制策略。首先，考虑了V2G过程对电动汽车用户充电需求的影响，以及微型燃气轮机组出力分配对调控成本的影响，构建了微电网综合控制模型；其次，为了应对综合频率控制这类具有欺骗性奖励、稀疏奖励的工程任务，结合进化算法和深度强化学习算法，并基于新颖搜索加以改进，从而有效协助训练过程跳出局部最优解，逼近最优策略；进一步，以频率偏差、综合成本与电动汽车充电站信息为状态集，以调频机组出力作为动作集，以频偏与综合成本为奖励函数指标，完成了综合控制的结构设计。算例结果表明，所提出的控制器能够在保证微电网调频需求的情况下，有效降低微型燃气轮机组的调控成本与车主的充电需求损失。

Abstract

Aiming at the problems of frequency instability

damage to the charging demand of electric vehicle (EV) users and increased regulation cost of micro-gas turbine that are caused by the uncertainty of the source and load in the islanded microgrid

this paper proposes a integrated frequency control strategy for the islanded microgrid with vehicle to grid (V2G) based on the improved evolutionary-deep reinforcement learning (EDRL). Firstly

considering the impact of the V2G process on the charging demand of EV users

and the impact of the output distribution of micro-gas turbine units on the regulation cost

a comprehensive control model of the microgrid is constructed. Secondly

in order to deal with engineering tasks such as integrated frequency control with deceptive rewards and sparse rewards

the evolutionary algorithm and the deep reinforcement learning algorithm are combined and improved based on the novelty search

so as to effectively assist the training process to jump out of the local optimal solution and approach the optimal strategy. Furthermore

the structural design of the integrated control is completed by taking the frequency deviation

comprehensive cost and EV charging station information as the state set

the frequency regulation unit output as the action set

and the frequency deviation and comprehensive cost as the reward function indices. Finally

the case results show that the proposed controller can effectively reduce the regulation cost of the micro-gas turbine units and the charging demand loss of EV owners while ensuring the frequency regulation demands of the microgrid.

关键词

Keywords

references

张勇军，羿应棋，李立浧，等 . 双碳目标驱动的新型低压配电系统技术展望［J］. 电力系统自动化， 2022 ， 46 （ 22 ）： 1 - 12 .

ZHANG Yongjun ， YI Yingqi ， LI Licheng ， et al . Prospect of new low-voltage distribution system technology driven by carbon emission peak and carbon neutrality targets ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 22 ）： 1 - 12 .

张智刚，康重庆 . 碳中和目标下构建新型电力系统的挑战与展望［J］. 中国电机工程学报， 2022 ， 42 （ 8 ）： 2806 - 2819 .

ZHANG Zhigang ， KANG Chongqing . Challenges and prospects for constructing the new-type power system towards a carbon neutrality future ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 8 ）： 2806 - 2819 .

魏泓屹，卓振宇，张宁，等 . 中国电力系统碳达峰·碳中和转型路径优化与影响因素分析［J］. 电力系统自动化， 2022 ， 46 （ 19 ）： 1 - 12 .

WEI Hongyi ， ZHUO Zhenyu ， ZHANG Ning ， et al . Transition path optimization and influencing factor analysis of carbon emission peak and carbon neutrality for power system of China ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 19 ）： 1 - 12 .

项雷军，陈昊，郭新华，等 . 基于模糊分数阶PID的含电动汽车的多能源微电网二次频率控制［J］. 电力自动化设备， 2021 ， 41 （ 11 ）： 74 - 80 .

XIANG Leijun ， CHEN Hao ， GUO Xinhua ， et al . Secondary frequency control of multi-energy microgrid with electric vehicles based on fuzzy fractional-order PID ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 11 ）： 74 - 80 .

崔明勇，曹朋，朱大伟，等 . 基于FOPI+FOPD控制器的单区域电力系统频率控制及电压调节［J］. 燕山大学学报， 2022 ， 46 （ 2 ）： 157 - 165 .

CUI Mingyong ， CAO Peng ， ZHU Dawei ， et al . Frequency control and voltage regulation of single area power system based on FOPI+FOPD controller ［J］. Journal of Yanshan University ， 2022 ， 46 （ 2 ）： 157 - 165 .

KHOKHAR B ， DAHIYA S ， SINGH PARMAR K P . Load frequency control of a microgrid employing a 2D sine logistic map based chaotic sine cosine algorithm ［J］. Applied Soft Computing ， 2021 ， 109 ： 107564 .

LYU L ， WANG X S ， ZHANG L ， et al . Fuzzy control based virtual synchronous generator for self-adaptative control in hybrid microgrid ［J］. Energy Reports ， 2022 ， 8 ： 12092 - 12104 .

范培潇，杨军，温裕鑫，等 . 基于可进化模型预测控制的含电动汽车多微电网智能发电控制策略［J/OL］. 电工技术学报： 1 - 15 ［ 2023-06-28 ］. DOI： 10.19595/j.cnki.1000-6753.tces.222138 http://dx.doi.org/10.19595/j.cnki.1000-6753.tces.222138 .

FAN Peixiao ， YANG Jun ， WEN Yuxin ， et al . Multi-microgrid intelligent power generation control strategy with electric vehicles based on evolvable model predictive control ［J/OL］. Transactions of China Electrotechnical Society ： 1 - 15 ［ 2023-06-28 ］. DOI： 10.19595/j.cnki.1000-6753.tces.222138 http://dx.doi.org/10.19595/j.cnki.1000-6753.tces.222138 .

余洋，张瑞丰，陆文韬，等 . 基于稳定经济模型预测控制的集群电动汽车辅助电网调频控制策略［J］. 电工技术学报， 2022 ， 37 （ 23 ）： 6025 - 6040 .

YU Yang ， ZHANG Ruifeng ， LU Wentao ， et al . Auxiliary frequency regulation control strategy of aggregated electric vehicles based on Lyapunov-based economic model predictive control ［J］. Transactions of China Electrotechnical Society ， 2022 ， 37 （ 23 ）： 6025 - 6040 .

JAN M U ， XIN A ， REHMAN H U ， et al . Frequency regulation of an isolated microgrid with electric vehicles and energy storage system integration using adaptive and model predictive controllers ［J］. IEEE Access ， 2021 ， 9 ： 14958 - 14970 .

JIMÉNEZ CARRIZOSA M ， IOVINE A ， DAMM G ， et al . Droop-inspired nonlinear control of a DC microgrid for integration of electrical mobility providing ancillary services to the AC main grid ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 5 ）： 4113 - 4122 .

RAO Y Q ， YANG J ， XIAO J X ， et al . A frequency control strategy for multimicrogrids with V2G based on the improved robust model predictive control ［J］. Energy ， 2021 ， 222 ： 119963 .

赵晋泉，夏雪，徐春雷，等 . 新一代人工智能技术在电力系统调度运行中的应用评述［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 1 - 10 .

ZHAO Jinquan ， XIA Xue ， XU Chunlei ， et al . Review on application of new generation artificial intelligence technology in power system dispatching and operation ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 1 - 10 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

范培潇，杨军，肖金星，等 . 基于深度Q学习的含电动汽车孤岛微电网负荷频率控制策略［J］. 电力建设， 2022 ， 43 （ 4 ）： 91 - 99 .

FAN Peixiao ， YANG Jun ， XIAO Jinxing ， et al . Load frequency control strategy based on deep Q learning for island microgrid with electric vehicles ［J］. Electric Power Construction ， 2022 ， 43 （ 4 ）： 91 - 99 .

BARBALHO P I N ， LACERDA V A ， FERNANDES R A S ， et al . Deep reinforcement learning-based secondary control for microgrids in islanded mode ［J］. Electric Power Systems Research ， 2022 ， 212 ： 108315 .

WANG C ， MEI S Y ， YU H L ， et al . Unintentional islanding transition control strategy for three-/ single-phase multimicrogrids based on artificial emotional reinforcement learning ［J］. IEEE Systems Journal ， 2021 ， 15 （ 4 ）： 5464 - 5475 .

FAN P X ， KE S ， YANG J ， et al . A load frequency coordinated control strategy for multimicrogrids with V2G based on improved MA-DDPG ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 146 ： 108765 .

范培潇，柯松，杨军，等 . 基于改进多智能体深度确定性策略梯度的多微网负荷频率协同控制策略［J］. 电网技术， 2022 ， 46 （ 9 ）： 3504 - 3515 .

FAN Peixiao ， KE Song ， YANG Jun ， et al . Load frequency coordinated control strategy of multi-microgrid based on improved MA-DDPG ［J］. Power System Technology ， 2022 ， 46 （ 9 ）： 3504 - 3515 .

KE S ， CHEN L ， YANG J ， et al . Vehicle to everything in the power grid （V2eG）： a review on the participation of electric vehicles in power grid economic dispatch ［J］. Energy Conversion and Economics ， 2022 ， 3 （ 5 ）： 259 - 286 .

邱高，刘友波，许立雄，等 . 基于深度确定性策略梯度的电网断面极限传输能力动态趋优控制［J］. 中国电机工程学报， 2021 ， 41 （ 15 ）： 5128 - 5139 .

QIU Gao ， LIU Youbo ， XU Lixiong ， et al . A deep deterministic policy gradient based-dynamic optimizing control for power system total transfer capability ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 15 ）： 5128 - 5139 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

谢海鹏，钱雨琦，付炜，等 . 电力系统中量子信息学的应用现状及展望［J］. 中国电机工程学报， 2023 ， 43 （ 12 ）： 4485 - 4508 .

XIE Haipeng ， QIAN Yuqi ， FU Wei ， et al . Status and prospect of quantum informatics in power systems ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 12 ）： 4485 - 4508 .

吴滨源，李建文，李永刚，等 . 基于知识和数据联合驱动的并网逆变器多工况阻抗获取方法［J］. 电力系统自动化， 2022 ， 46 （ 6 ）： 83 - 91 .

WU Binyuan ， LI Jianwen ， LI Yonggang ， et al . Combined data-knowledge-driven impedance acquisition method for grid-connected inverter under multiple operation conditions ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 6 ）： 83 - 91 .

张昭昭，朱应钦，乔俊飞，等 . 一种基于行为空间的回声状态网络参数优化方法［J］. 信息与控制， 2021 ， 50 （ 5 ）： 556 - 565 .

ZHANG Zhaozhao ， ZHU Yingqin ， QIAO Junfei ， et al . An echo state network parameter optimization method based on behavior space ［J］. Information and Control ， 2021 ， 50 （ 5 ）： 556 - 565 .

林日晖，陈友立 . 基于深度Q学习的含用户侧储能微电网频率-电压数字化智能控制策略［J］. 中国电力， 2022 ， 55 （ 12 ）： 43 - 50 .

LIN Rihui ， CHEN Youli . Frequency-voltage digital intelligent control strategy of microgrid with user side energy storage based on deep Q-learning ［J］. Electric Power ， 2022 ， 55 （ 12 ）： 43 - 50 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Parameter Optimization Method for Hydropower Clusters Balancing Ultra-low-frequency Oscillation Suppression and Primary Frequency Regulation

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

WANG Juan

LI Zhukun

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

School of Electric Power Engineering, South China University of Technology

⁰