基于分布式深度强化学习的微网群有功无功协调优化调度

巨云涛; 陈希; 李嘉伟; 王杰

doi:10.7500/AEPS20220112006

您当前的位置：

首页 >

文章列表页 >

基于分布式深度强化学习的微网群有功无功协调优化调度

研制与开发 | 更新时间：2025-06-16

- 基于分布式深度强化学习的微网群有功无功协调优化调度
- Active and Reactive Power Coordinated Optimal Dispatch of Networked Microgrids Based on Distributed Deep Reinforcement Learning
- 电力系统自动化 2023年47卷第1期页码：115-125
- 作者机构：
  
  1.北方工业大学电气与控制工程学院，北京市 100144
  2.中国农业大学信息与电气工程学院，北京市 100083
- 作者简介：
  
  巨云涛(1985—)，男，通信作者，博士生导师，主要研究方向：高比例可再生能源系统的分布自律-集中协同的稳定分析与优化调控技术。E-mail：juyuntao@cau.edu.cn
  陈希(1998—)，男，硕士，主要研究方向：信息物理耦合背景下的微网群优化调度。E-mail：SY20203081659@cau.edu.cn
  李嘉伟(2000—)，男，硕士研究生，主要研究方向：电力系统微电网优化调度。E-mail：l18381993986@163.com
- 基金信息：
  
  国家自然科学基金资助项目(52177125)
- DOI：10.7500/AEPS20220112006
  中图分类号：
- 收稿：2022-01-12，
  
  修回：2022-04-24，
  
  网络出版：2022-10-31，
  
  纸质出版：2023-01-10
- 稿件说明：
移动端阅览
巨云涛,陈希,李嘉伟等.基于分布式深度强化学习的微网群有功无功协调优化调度[J].电力系统自动化,2023,47(1):115-125.

JU Yuntao,CHEN Xi,LI Jiawei,et al.Active and Reactive Power Coordinated Optimal Dispatch of Networked Microgrids Based on Distributed Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(1):115-125.
巨云涛,陈希,李嘉伟等.基于分布式深度强化学习的微网群有功无功协调优化调度[J].电力系统自动化,2023,47(1):115-125. DOI： 10.7500/AEPS20220112006.

JU Yuntao,CHEN Xi,LI Jiawei,et al.Active and Reactive Power Coordinated Optimal Dispatch of Networked Microgrids Based on Distributed Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(1):115-125. DOI： 10.7500/AEPS20220112006.

摘要

针对微网群的分布式有功无功协调优化调度问题，提出一种分布式多智能体深度强化学习方法，可训练智能体在与环境交互的过程中学习到最优调度策略，并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法，该方法无须收集全局信息，能够更好地保障各子微网信息的隐私，减轻通信压力，并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外，考虑到微网群存在拓扑变化而强化学习模型泛化能力差，提出一种迁移强化学习方法，利用已有智能体知识为每种拓扑高效训练一组智能体。最后，通过改进的IEEE 33节点系统算例，验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。

Abstract

Aiming at the distributed active and reactive power coordinated optimal dispatch of networked microgrids

a distributed multi-agent deep reinforcement learning method is proposed. The method can be used to train the agents to learn the optimal dispatch strategy in the process of interaction with the environment

and overcome the dependence of the traditional optimization method on the model. Compared with the existing multi-agent deep reinforcement learning methods based on the “centralized training” framework

the proposed method does not need to collect global information

can better protect the information privacy of each sub-microgrid

reduce the communication pressure

and shows robustness to the communication failures in both the training and execution stages. In addition

considering the topology change of networked microgrids and the poor generalization ability of the reinforcement learning model

a transfer reinforcement learning method is proposed

which uses the existing agent knowledge to efficiently train a group of agents for each topology. Finally

through an example of an improved IEEE 33-bus system

the effectiveness of the method proposed in solving the problem of distributed active and reactive power coordinated optimal dispatch of networked microgrids is verified.

关键词

Keywords

references

MOROZUMI S . Micro-grid demonstration projects in Japan ［C］// 2007 Power Conversion Conference ， April 2-5 ， 2007 ， Nagoya， Japan ： 635 - 642 .

PIAGI P ， LASSETER R H . Autonomous control of microgrids ［C］// 2006 IEEE Power Engineering Society General Meeting ， June 18-22 ， 2006 ， Montreal， Canada .

王盼宝，王卫，孟尼娜，等 . 直流微电网离网与并网运行统一控制策略［J］. 中国电机工程学报， 2015 ， 35 （ 17 ）： 4388 - 4396 .

WANG Panbao ， WANG Wei ， MENG Nina ， et al . Unified control strategy of islanding and grid-connected operations for DC microgrid ［J］. Proceedings of the CSEE ， 2015 ， 35 （ 17 ）： 4388 - 4396 .

杨新法，苏剑，吕志鹏，等 . 微电网技术综述［J］. 中国电机工程学报， 2014 ， 34 （ 1 ）： 57 - 70 .

YANG Xinfa ， SU Jian ， LÜ Zhipeng ， et al . Overview on micro-grid technology ［J］. Proceedings of the CSEE ， 2014 ， 34 （ 1 ）： 57 - 70 .

周松林，茆美琴，苏建徽 . 考虑风力发电随机性的微电网潮流预测［J］. 中国电机工程学报， 2013 ， 33 （ 22 ）： 26 - 34 .

ZHOU Songlin ， MAO Meiqin ， SU Jianhui . Power flow forecasting of micro-grid considering randomness of wind power ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 22 ）： 26 - 34 .

杨家豪 . 基于一致性算法的孤岛型微电网群实时协同功率分配［J］. 电力系统自动化， 2017 ， 41 （ 5 ）： 8 - 15 .

YANG Jiahao . Consensus algorithm based real-time collaborative power dispatch for island multi-microgrid ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 5 ）： 8 - 15 .

赵敏，陈颖，沈沉，等 . 微电网群特征分析及示范工程设计［J］. 电网技术， 2015 ， 39 （ 6 ）： 1469 - 1476 .

ZHAO Min ， CHEN Ying ， SHEN Chen ， et al . Characteristic analysis of multi-microgrids and a pilot project design ［J］. Power System Technology ， 2015 ， 39 （ 6 ）： 1469 - 1476 .

杜炜，窦迅，王镇，等 . 考虑热电余量交易的微网群优化调度［J］. 电网技术， 2020 ， 44 （ 10 ）： 3777 - 3786 .

DU Wei ， DOU Xun ， WANG Zhen ， et al . Optimal scheduling for microgrid clusters considering heat-electricity margin transaction ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3777 - 3786 .

祁晓婧 . 计及不确定性的主动配电网有功无功联合优化调度技术研究［D］. 南京：东南大学， 2019 .

QI Xiaojing . Study on coordinated active and reactive power optimization considering uncertainty in active distribution network ［J］. Nanjing： Southeast University ， 2019 .

彭元泉，麦志远，艾维，等 . 含柔性多状态开关的主动配电网有功-无功协调动态优化［J］. 电力系统自动化， 2020 ， 44 （ 14 ）： 54 - 61 .

PENG Yuanquan ， MAI Zhiyuan ， AI Wei ， et al . Active and reactive power coordinated dynamic optimization for active distribution network with flexible distribution switch ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 14 ）： 54 - 61 .

GAO H J ， LIU J Y ， WANG L F . Robust coordinated optimization of active and reactive power in active distribution systems ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 5 ）： 4436 - 4447 .

刘兆元，王萍，郑能，等 . 考虑可控光伏系统的配电网有功-无功协调优化［J］. 电网技术， 2019 ， 43 （ 1 ）： 294 - 301 .

LIU Zhaoyuan ， WANG Ping ， ZHENG Neng ， et al . Coordinated active-reactive power optimization of distribution network considering controllable photovoltaic system ［J］. Power System Technology ， 2019 ， 43 （ 1 ）： 294 - 301 .

郑能，丁晓群，郑程拓，等 . 含高比例光伏的配电网有功-无功功率多目标协调优化［J］. 电力系统自动化， 2018 ， 42 （ 6 ）： 33 - 39 .

ZHENG Neng ， DING Xiaoqun ， ZHENG Chengtuo ， et al . Multi-objective coordinated optimization of active and reactive power for distribution network integrated with high proportion of photovoltaic generation ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 6 ）： 33 - 39 .

郑能，丁晓群，管志成，等 . 基于场景法的配电网有功-无功协调优化［J］. 电网技术， 2019 ， 43 （ 5 ）： 1640 - 1651 .

ZHENG Neng ， DING Xiaoqun ， GUAN Zhicheng ， et al . Coordinated optimization of active power and reactive power in distribution network based on scenario method ［J］. Power System Technology ， 2019 ， 43 （ 5 ）： 1640 - 1651 .

朱祥祥，黄崇鑫，岳东，等 . 基于区间不确定性的微网有功-无功联合优化调度［J］. 电力系统自动化， 2016 ， 40 （ 15 ）： 39 - 46 .

ZHU Xiangxiang ， HUANG Chongxin ， YUE Dong ， et al . Active-reactive power combined optimal dispatch for microgrids based on interval uncertainty ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 15 ）： 39 - 46 .

任佳依，顾伟，王勇，等 . 基于模型预测控制的主动配电网多时间尺度有功无功协调调度［J］. 中国电机工程学报， 2018 ， 38 （ 5 ）： 1397 - 1407 .

REN Jiayi ， GU Wei ， WANG Yong ， et al . Multi-time scale active and reactive power coordinated optimal dispatch in active distribution network based on model predictive control ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 5 ）： 1397 - 1407 .

陈刚，杨毅，杨晓梅，等 . 基于分布式牛顿法的微电网群分布式优化调度方法［J］. 电力系统自动化， 2017 ， 41 （ 21 ）： 156 - 162 .

CHEN Gang ， YANG Yi ， YANG Xiaomei ， et al . Distributed optimization scheduling method for microgrid cluster based on distributed Newton method ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 21 ）： 156 - 162 .

王程，刘念 . 基于交替方向乘子法的互联微电网系统分布式优化调度［J］. 电网技术， 2016 ， 40 （ 9 ）： 2675 - 2681 .

WANG Cheng ， LIU Nian . Distributed optimal dispatching of interconnected microgrid system based on alternating direction method of multipliers ［J］. Power System Technology ， 2016 ， 40 （ 9 ）： 2675 - 2681 .

王皓，艾芊，吴俊宏，等 . 基于交替方向乘子法的微电网群双层分布式调度方法［J］. 电网技术， 2018 ， 42 （ 6 ）： 1718 - 1727 .

WANG Hao ， AI Qian ， WU Junhong ， et al . Bi-level distributed optimization for microgrid clusters based on alternating direction method of multipliers ［J］. Power System Technology ， 2018 ， 42 （ 6 ）： 1718 - 1727 .

冯昌森，张瑜，文福拴，等 . 基于深度期望Q网络算法的微电网能量管理策略［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 14 - 22 .

FENG Changsen ， ZHANG Yu ， WEN Fushuan ， et al . Energy management strategy for microgrid based on deep expected Q network algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 14 - 22 .

刘俊峰，陈剑龙，王晓生，等 . 基于深度强化学习的微能源网能量管理与优化策略研究［J］. 电网技术， 2020 ， 44 （ 10 ）： 3794 - 3803 .

LIU Junfeng ， CHEN Jianlong ， WANG Xiaosheng ， et al . Energy management and optimization of multi-energy grid based on deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 10 ）： 3794 - 3803 .

李琦，乔颖，张宇精 . 配电网持续无功优化的深度强化学习方法［J］. 电网技术， 2020 ， 44 （ 4 ）： 1473 - 1480 .

LI Qi ， QIAO Ying ， ZHANG Yujing . Continuous reactive power optimization of distribution network using deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 4 ）： 1473 - 1480 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

李彦君，裴玮，肖浩，等 . 基于深度学习的微网需求响应特性封装与配电网优化运行［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 157 - 165 .

LI Yanjun ， PEI Wei ， XIAO Hao ， et al . Deep learning based characteristic packaging of demand response for microgrids and optimal operation of distribution network ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 157 - 165 .

刘威，张东霞，王新迎，等 . 基于深度强化学习的电网紧急控制策略研究［J］. 中国电机工程学报， 2018 ， 38 （ 1 ）： 109 - 119 .

LIU Wei ， ZHANG Dongxia ， WANG Xinying ， et al . A decision making strategy for generating unit tripping under emergency circumstances based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 1 ）： 109 - 119 .

WANG X ， LIU H ， CAO X ， et al . Active and reactive power coordinated control of active distribution networks based on prioritized reinforcement learning ［C］// 2021 Power System and Green Energy Conference （PSGEC）， August 20 - 22 ， Shanghai， China ： 91 - 96 .

LI H P ， HE H B . Learning to operate distribution networks with safe deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 3 ）： 1860 - 1872 .

YANG Y D ， WANG J . An overview of multi-agent reinforcement learning from game theoretical perspective ［EB/OL］. ［ 2021-11-20 ］. https：//arxiv.org/abs/2011.00583 https://arxiv.org/abs/2011.00583 .

CAO D ， ZHAO J B ， HU W H ， et al . Deep reinforcement learning enabled physical-model-free two-timescale voltage control method for active distribution systems ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 1 ）： 149 - 165 .

SUN X Z ， QIU J . Two-stage volt/var control in active distribution networks with multi-agent deep reinforcement learning method ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2903 - 2912 .

SHIN M ， CHOI D H ， KIM J . Cooperative management for PV/ESS-enabled electric vehicle charging stations： a multiagent deep reinforcement learning approach ［J］. IEEE Transactions on Industrial Informatics ， 2020 ， 16 （ 5 ）： 3493 - 3503 .

张津源，蒲天骄，李烨，等 . 基于多智能体深度强化学习的分布式电源优化调度策略［J/OL］. 电网技术： 1 - 10 ［ 2021-12-20 ］. https：//doi.org/10.13335/j.1000-3673.pst.2021.1737 https://doi.org/10.13335/j.1000-3673.pst.2021.1737 .

ZHANG Jinyuan ， PU Tianjiao ， LI Ye ， et al . Research on optimal dispatch strategy of distributed generators based on multi-agent deep reinforcement learning ［J/OL］. Power System Technology ： 1 - 10 ［ 2021-12-20 ］. https：//doi.org/10.13335/j.1000-3673.pst.2021.1737 https://doi.org/10.13335/j.1000-3673.pst.2021.1737 .

寇凌峰，吴鸣，李洋，等 . 主动配电网分布式有功无功优化调控方法［J］. 中国电机工程学报， 2020 ， 40 （ 6 ）： 1856 - 1865 .

KOU Lingfeng ， WU Ming ， LI Yang ， et al . Optimization and control method of distributed active and reactive power in active distribution network ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 6 ）： 1856 - 1865 .

LIU H T ， WU W C . Online multi-agent reinforcement learning for decentralized inverter-based volt-VAR control ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 2980 - 2990 .

CHRISTODOULOU P . Soft actor-critic for discrete action settings ［EB/OL］. ［ 2021-11-20 ］. https：//arxiv.org/abs/1910.07207 https://arxiv.org/abs/1910.07207 .

GAO Z J ， XU K L ， DING B ， et al . KnowRU： knowledge reusing via knowledge distillation in multi-agent reinforcement learning ［EB/OL］. ［ 2021-11-20 ］. https：//arxiv.org/abs/2103.14891 https://arxiv.org/abs/2103.14891 .

LIU H T ， WU W C . Bi-level off-policy reinforcement learning for volt/VAR control involving continuous and discrete devices ［EB/OL］. ［ 2021-11-20 ］. https：//arxiv.org/abs/2104.05902 https://arxiv.org/abs/2104.05902 .

DENG Z M ， LIU M B ， CHEN H L ， et al . Optimal scheduling of active distribution networks with limited switching operations using mixed-integer dynamic optimization ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 4221 - 4234 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于改进MADDPG算法的储能系统多目标优化调度策略

双碳目标下考虑电氢互补的智慧园区多楼宇协调调度

基于多智能体深度强化学习的主动配电网电压调控策略