Multi-agent Game Collaborative Optimization Strategy for Active Distribution Networks Based on Federated Reinforcement Learning

YANG Wenwei; PENG Xiangang; QUAN Huan; CHU Zhuozhuo; WANG Xinghua; ZHAO Zhuoli

doi:10.7500/AEPS20240331009

您当前的位置：

首页 >

文章列表页 >

Multi-agent Game Collaborative Optimization Strategy for Active Distribution Networks Based on Federated Reinforcement Learning

Basic Research | 更新时间：2025-07-14

- Multi-agent Game Collaborative Optimization Strategy for Active Distribution Networks Based on Federated Reinforcement Learning
- Automation of Electric Power Systems Vol. 49, Issue 13, Pages: 70-82(2025)
- 作者机构：
  
  1.广东工业大学自动化学院，广东省广州市 510006
  2.华南理工大学电力学院，广东省广州市 510641
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(62273104)
- DOI：10.7500/AEPS20240331009
  CLC：
- Received：31 March 2024，
  
  Revised：2024-12-17，
  
  Published Online：30 May 2025，
  
  Published：10 July 2025
- 稿件说明：
移动端阅览
杨文伟,彭显刚,全欢等.基于联邦强化学习的主动配电网多主体博弈协同优化策略[J].电力系统自动化,2025,49(13):70-82.

YANG Wenwei,PENG Xiangang,QUAN Huan,et al.Multi-agent Game Collaborative Optimization Strategy for Active Distribution Networks Based on Federated Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(13):70-82.
杨文伟,彭显刚,全欢等.基于联邦强化学习的主动配电网多主体博弈协同优化策略[J].电力系统自动化,2025,49(13):70-82. DOI： 10.7500/AEPS20240331009.

YANG Wenwei,PENG Xiangang,QUAN Huan,et al.Multi-agent Game Collaborative Optimization Strategy for Active Distribution Networks Based on Federated Reinforcement Learning[J].Automation of Electric Power Systems,2025,49(13):70-82. DOI： 10.7500/AEPS20240331009.

摘要

针对主动配电网多主体协同优化调度面临的隐私保护和信任不足问题，提出了基于多主体博弈和联邦强化学习算法的日前-日内协同优化调度策略。首先，建立含分布式电源运营商、主动配电网运营商、储能运营商等不同主体的协同优化架构。在该架构下，提出了以最大化综合收益和最小化调整量为目标的多主体日前-日内优化调度模型。然后，在日前阶段采用考虑有限理性的信任演化博弈方法得到日内调度计划，在日内阶段则采用联邦自然策略梯度算法进行滚动校正，在满足运行约束的同时，避免了调度过程中产生的隐私信息泄露问题。最后，通过仿真分析验证了所提模型的经济性和算法的有效性。

Abstract

To address the problems of privacy preservation and trust deficiency in multi-agent collaborative optimal scheduling of active distribution networks (ADNs)

this paper proposes a day-ahead and intra-day collaborative optimization strategy based on multi-agent game and federated reinforcement learning (FRL). First

a collaborative optimization framework is established

involving various agents such as distributed generator operators

ADN operators

and energy storage operators. Within this framework

a multi-agent day-ahead and intra-day optimal scheduling model is formulated with dual objectives of maximizing overall revenue and minimizing operational adjustment. In the day-ahead stage

a trust evolution game approach considering bounded rationality is employed to generate preliminary scheduling plans

while an intra-day rolling correction mechanism is implemented using a federated natural policy gradient algorithm. This strategy ensures operation constraint compliance and effectively mitigates privacy leakage risks during information exchange. Finally

the economic feasibility of the proposed model and the effectiveness of the algorithm are verified through simulation analysis

关键词

Keywords

references

王珂，吴峰，曹若琳，等 . 市场环境下需求响应行为特性及模型研究综述［J］. 电力系统自动化， 2024 ， 48 （ 15 ）： 1 - 14 .

WANG Ke ， WU Feng ， CAO Ruolin ， et al . Review on characteristics and models of demand response behavior in market environment ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 15 ）： 1 - 14 .

盛万兴，刘科研，李昭，等 . 新型配电系统形态演化与安全高效运行方法综述［J］. 高电压技术， 2024 ， 50 （ 1 ）： 1 - 18 .

SHENG Wanxing ， LIU Keyan ， LI Zhao ， et al . Review of basic theory and methods of morphological evolution and safe & efficient operation of new distribution system ［J］. High Voltage Engineering ， 2024 ， 50 （ 1 ）： 1 - 18 .

郭庆来，田年丰，孙宏斌 . 支撑能源互联网协同优化的隐私计算关键技术［J］. 电力系统自动化， 2023 ， 47 （ 8 ）： 2 - 14 .

GUO Qinglai ， TIAN Nianfeng ， SUN Hongbin . Key technologies of privacy computation supporting collaborative optimization of energy Internet ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 8 ）： 2 - 14 .

叶宇剑，吴奕之，胡健雄，等 . 市场环境下智能配用电系统分层协同优化运行：研究挑战、进展与展望［J/OL］. 中国电机工程学报： 1 - 19 ［ 2024-03-26 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.222708 https://doi.org/10.13334/j.0258-8013.pcsee.222708 .

YE Yujian ， WU Yizhi ， HU Jianxiong ， et al . Hierarchical cooperative optimization of intelligent power distribution system in market environment： research challenges， progress and prospects ［J/OL］. Proceedings of the CSEE ： 1 - 19 ［ 2024-03-26 ］. https：//doi.org/10.13334/j.0258-8013.pcsee.222708 https://doi.org/10.13334/j.0258-8013.pcsee.222708 .

CHEN W D ， WANG J N ， YU G Y ， et al . Research on day-ahead transactions between multi-microgrid based on cooperative game model ［J］. Applied Energy ， 2022 ， 316 ： 119106 .

YAN S Z ， WANG W Q ， LI X Z ， et al . Cross-regional green certificate transaction strategies based on a double-layer game model ［J］. Applied Energy ， 2024 ， 356 ： 122223 .

WANG Y L ， LIU Z ， WANG J Y ， et al . A Stackelberg game-based approach to transaction optimization for distributed integrated energy system ［J］. Energy ， 2023 ， 283 ： 128475 .

敦帅，陈强 . 分享经济信任传递机制的演化博弈研究［J］. 统计与决策， 2023 ， 39 （ 13 ）： 183 - 188 .

DUN Shuai ， CHEN Qiang . Research on the evolutionary game theory of trust transmission mechanism in sharing economy ［J］. Statistics & Decision ， 2023 ， 39 （ 13 ）： 183 - 188 .

HAN F W ， ZENG J F ， LIN J J ， et al . A stochastic hierarchical optimization and revenue allocation approach for multi-regional integrated energy systems based on cooperative games ［J］. Applied Energy ， 2023 ， 350 ： 121701 .

王思诚 . 基于分布式隐私保护算法的智能电网经济调度研究［D］. 成都：西南大学， 2023 .

WANG Sicheng . Research on economic scheduling of smart grid based on distributed privacy protection algorithm ［D］. Chengdu ： Southwest University ， 2023 .

何伟同 . 基于分布式优化算法的电力系统经济调度研究［D］. 西安：西安理工大学， 2021 .

HE Weitong . Research on economic dispatching of power system based on distributed optimization algorithm ［D］. Xi’an ： Xi’an University of Technology ， 2021 .

王栋，王合建，玄佳兴，等 . 面向电力调度指令的区块链隐私可追踪存证方案［J］. 计算机工程， 2024 ， 50 （ 5 ）： 158 - 166 .

WANG Dong ， WANG Hejian ， XUAN Jiaxing ， et al . Blockchain privacy-traceable deposit scheme for power-dispatch instructions ［J］. Computer Engineering ， 2024 ， 50 （ 5 ）： 158 - 166 .

陈春宇，涂歌，臧天磊，等 . 面向多主体隐私保护的源网荷储分布式协同优化调度［J］. 工程科学与技术， 2024 ， 56 （ 2 ）： 45 - 54 .

CHEN Chunyu ， TU Ge ， ZANG Tianlei ， et al . Privacy-preserving multi-agent coordinated economic dispatch with generation-grid-load-storage interaction ［J］. Advanced Engineering Sciences ， 2024 ， 56 （ 2 ）： 45 - 54 .

潘建辉，张宁，雍培，等 . 面向海量灵活性资源的两阶段分布式协同调度方法［J］. 电力系统自动化， 2023 ， 47 （ 15 ）： 67 - 79 .

PAN Jianhui ， ZHANG Ning ， YONG Pei ， et al . Two-stage distributed collaborative dispatching method for massive flexible resources ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 15 ）： 67 - 79 .

王家武，赵佃云，刘长锋，等 . 基于目标级联法的多主体主动配电网自治协同优化［J］. 中国电力， 2024 ， 57 （ 7 ）： 214 - 226 .

WANG Jiawu ， ZHAO Dianyun ， LIU Changfeng ， et al . Autonomous collaborative optimization of multi-agent active distribution network based on target cascade method ［J］. Electric Power ， 2024 ， 57 （ 7 ）： 214 - 226 .

周毅斌，肖浩，裴玮，等 . 基于纵向联邦学习的微电网群协同优化运行与策略进化［J］. 电力系统自动化， 2023 ， 47 （ 11 ）： 121 - 132 .

ZHOU Yibin ， XIAO Hao ， PEI Wei ， et al . Collaborative optimization operation and strategy evolution of microgrid cluster based on vertical federated learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 11 ）： 121 - 132 .

董雷，杨子民，乔骥，等 . 基于分层约束强化学习的综合能源多微网系统优化调度［J］. 电工技术学报， 2024 ， 39 （ 5 ）： 1436 - 1453 .

DONG Lei ， YANG Zimin ， QIAO Ji ， et al . Optimal scheduling of integrated energy multi-microgrid system based on hierarchical constraint reinforcement learning ［J］. Transactions of China Electrotechnical Society ， 2024 ， 39 （ 5 ）： 1436 - 1453 .

蒲天骄，杜帅，李烨，等 . 面向隐私保护基于联邦强化学习的分布式电源协同优化策略［J］. 电力系统自动化， 2023 ， 47 （ 8 ）： 62 - 70 .

PU Tianjiao ， DU Shuai ， LI Ye ， et al . Collaborative optimization strategy of distributed generators based on federated reinforcement learning for privacy preservation ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 8 ）： 62 - 70 .

罗金满，刘丽媛，刘飘，等 . 考虑源网荷储协调的主动配电网优化调度方法研究［J］. 电力系统保护与控制， 2022 ， 50 （ 1 ）： 167 - 173 .

LUO Jinman ， LIU Liyuan ， LIU Piao ， et al . An optimal scheduling method for active distribution network considering source network load storage coordination ［J］. Power System Protection and Control ， 2022 ， 50 （ 1 ）： 167 - 173 .

罗首权，丁孝华，韩韬，等 . 基于目标级联分析法的区域源网荷储系统日前运行优化［J］. 电工电能新技术， 2021 ， 40 （ 7 ）： 11 - 19 .

LUO Shouquan ， DING Xiaohua ， HAN Tao ， et al . Day-ahead operation optimization of regional scale source network load storage system based on analytical target cascading theory ［J］. Advanced Technology of Electrical Engineering and Energy ， 2021 ， 40 （ 7 ）： 11 - 19 .

张军，钟康骅，张勇军，等 . 基于混合博弈的多区域电-储共享运营模式与经济效益分析［J］. 电力系统自动化， 2024 ， 48 （ 3 ）： 31 - 41 .

ZHANG Jun ， ZHONG Kanghua ， ZHANG Yongjun ， et al . Hybrid game based sharing operation mode for multi-regional electric power and energy storage and its economic benefit analysis ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 3 ）： 31 - 41 .

张剑，崔明建，姚潇毅，等 . 基于数据驱动与物理模型的主动配电网双时间尺度协调优化［J］. 电力系统自动化， 2023 ， 47 （ 20 ）： 64 - 71 .

ZHANG Jian ， CUI Mingjian ， YAO Xiaoyi ， et al . Dual-timescale active and reactive power coordinated optimization for active distribution network based on data-driven and physical model ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 20 ）： 64 - 71 .

ZHAO Y ， CHENG X Y ， CHEN J ， et al . Cross-entropy based importance sampling for composite systems reliability evaluation with consideration of multivariate dependence ［J］. International Journal of Electrical Power & Energy Systems ， 2024 ， 157 ： 109874 .

MA K ， ZHANG R C ， YANG J ， et al . Collaborative optimization scheduling of integrated energy system considering user dissatisfaction ［J］. Energy ， 2023 ， 274 ： 127311 .

LIU Y C ， YU S X ， LIN T . Hessian regularization of deep neural networks： a novel approach based on stochastic estimators of Hessian trace ［J］. Neurocomputing ， 2023 ， 536 ： 13 - 20 .

JANI A ， JADID S . Two-stage energy scheduling framework for multi-microgrid system in market environment ［J］. Applied Energy ， 2023 ， 336 ： 120683 .

LIN W ， JIN X L ， JIA H J ， et al . Decentralized optimal scheduling for integrated community energy system via consensus-based alternating direction method of multipliers ［J］. Applied Energy ， 2021 ， 302 ： 117448 .

陈池瑶，苗世洪，姚福星，等 . 基于多智能体算法的多微电网-配电网分层协同调度策略［J］. 电力系统自动化， 2023 ， 47 （ 10 ）： 57 - 65 .

CHEN Chiyao ， MIAO Shihong ， YAO Fuxing ， et al . Hierarchical cooperative dispatching strategy of multi-microgrid and distribution networks based on multi-agent algorithm ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 10 ）： 57 - 65 .

GUO C Y ， WANG X ， ZHENG Y H ， et al . Real-time optimal energy management of microgrid with uncertainties based on deep reinforcement learning ［J］. Energy ， 2022 ， 238 ： 121873 .

张玉敏，孙鹏凯，吉兴全，等 . 基于并行多维近似动态规划的综合能源系统动态经济调度［J］. 电力系统自动化， 2023 ， 47 （ 4 ）： 60 - 68 .

ZHANG Yumin ， SUN Pengkai ， JI Xingquan ， et al . Dynamic economic dispatch for integrated energy system based on parallel multi-dimensional approximate dynamic programming ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 4 ）： 60 - 68 .

刘自发，张婷，王岩 . 基于模型预测控制的主动配电网多场景变时间尺度优化调度［J］. 电力自动化设备， 2022 ， 42 （ 4 ）： 121 - 128 .

LIU Zifa ， ZHANG Ting ， WANG Yan . Multi-scenario variable time scale optimal scheduling of active distribution network based on model predictive control ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 4 ）： 121 - 128 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Collaborative Optimization Strategy of Distributed Generators Based on Federated Reinforcement Learning for Privacy Preservation

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Optimal Scheduling Strategy of Farm Distribution Network for Power Supply Support for Production of Large-scale Crop Base

Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price

Related Author

PU Tianjiao

DU Shuai

LI Ye

WANG Xinying

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

Related Institution

China Electric Power Research Institute

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

School of Electrical Engineering and Automation, Harbin Institute of Technology

State Key Laboratory of Smart Farm Technologies and Systems

⁰