Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method

JI Xingquan; SUN Chenhao; ZHANG Yumin; YANG Ming; YE Pingfeng; HAN Xueshan

doi:10.7500/AEPS20240525002

您当前的位置：

首页 >

文章列表页 >

Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method

Basic Research | 更新时间：2025-06-16

- Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method
- Automation of Electric Power Systems Vol. 49, Issue 2, Pages: 165-174(2025)
- 作者机构：
  
  1.山东科技大学电气与自动化工程学院，山东省青岛市 266590
  2.电网智能化调度与控制教育部重点实验室（山东大学），山东省济南市 250061
  3.山东科技大学储能技术学院，山东省青岛市 266590
- 作者简介：
- 基金信息：
  
  This work are supported by National Natural Science Foundation of China(52107111);Shandong Provincial Natural Science Foundation of China (Young Scientistic Program)(ZR2021QE117)
- DOI：10.7500/AEPS20240525002
  CLC：
- Received：25 May 2024，
  
  Revised：2024-09-01，
  
  Published Online：20 November 2024，
  
  Published：25 January 2025
- 稿件说明：
移动端阅览
吉兴全,孙辰昊,张玉敏等.基于多智能体与改进目标级联法的输配协同优化调度[J].电力系统自动化,2025,49(2):165-174.

JI Xingquan,SUN Chenhao,ZHANG Yumin,et al.Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method[J].Automation of Electric Power Systems,2025,49(2):165-174.
吉兴全,孙辰昊,张玉敏等.基于多智能体与改进目标级联法的输配协同优化调度[J].电力系统自动化,2025,49(2):165-174. DOI： 10.7500/AEPS20240525002.

JI Xingquan,SUN Chenhao,ZHANG Yumin,et al.Coordinated Optimal Scheduling of Transmission and Distribution Networks Based on Multiple Agents and Improved Target Cascading Method[J].Automation of Electric Power Systems,2025,49(2):165-174. DOI： 10.7500/AEPS20240525002.

摘要

输配协同优化调度问题呈现多时间尺度耦合、非凸非线性特征，其本质上是非确定性多项式难问题。随着系统可调节资源的增加，控制变量呈指数增长，“维数灾”现象愈加明显，仅基于物理模型的求解策略难以兼顾计算精度与求解效率。为此，提出一种基于改进多智能体双延迟深度确定性策略梯度(IMATD3)和Peaceman-Rachford (PR)目标级联(ATC)法的输配协同多时间尺度优化调度方法。根据PR分裂方法改进ATC法中主-子系统的信息迭代策略，提出基于PR-ATC的输配协同日前调度方法；通过多智能体与输配网络的离线交互提取连续调度策略的时序特征，并基于物理模型并行计算各系统调度问题，形成基于深度强化学习的离线训练和基于物理模型的在线应用联合调度决策方法。以T6-D7-D7和IEEE 118-D9-D33-D69输配网络为例，验证了所提方法的有效性。

Abstract

The coordinated optimization scheduling problem of transmission and distribution networks presents the characteristics of multi-time scale coupling and non-convex nonlinear

which is essentially a non-deterministic polynomial-hard problem. With the increase of the system adjustable resources

the control variables exponentially increase

and the phenomenon of the curse of dimensionality becomes more and more obvious. It is difficult for the solution strategy based only on physical model to balance the calculation accuracy and solution efficiency. Therefore

a multi-time scale coordinated optimal scheduling method of transmission and distribution networks based on the improved multi-agent twin delayed deep deterministic policy gradient (IMATD3) and Peaceman-Rachford (PR)-analytical target cascading (ATC) method is proposed. Based on the PR splitting method

the information iteration strategy of main-subsystem in ATC method is improved

and a PR-ATC based transmission and distribution coordinated day-ahead scheduling method is proposed. Through the offline interaction between multiple agents and the transmission and distribution networks

the sequential features of the continuous scheduling strategy are extracted

and the scheduling problems of each system are calculated in parallel based on the physical model. A joint scheduling and decision-making method combining offline training based on deep reinforcement learning and online application based on physical model is formed. The T6-D7-D7 and IEEE 118-D9-D33-D69 transmission and distribution networks are taken as examples and the effectiveness of the proposed method is verified.

关键词

Keywords

references

冯斌，胡轶婕，黄刚，等 . 基于深度强化学习的新型电力系统调度优化方法综述［J］. 电力系统自动化， 2023 ， 47 （ 17 ）： 187 - 199 .

FENG Bin ， HU Yijie ， HUANG Gang ， et al . Review on optimization methods for new power system dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 17 ）： 187 - 199 .

刘昊，郭烨，孙宏斌 . 中国跨区跨省电力交易综述及展望［J］. 电力系统自动化， 2022 ， 46 （ 15 ）： 187 - 199 .

LIU Hao ， GUO Ye ， SUN Hongbin . Review and prospect of inter-regional and inter-provincial power trading in China ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 15 ）： 187 - 199 .

吉兴全，张旋，于一潇，等 . 考虑综合能源系统运行灵活性的输配协同优化调度［J］. 电力系统自动化， 2022 ， 46 （ 23 ）： 29 - 40 .

JI Xingquan ， ZHANG Xuan ， YU Yixiao ， et al . Coordinated optimal dispatch of transmission and distribution power systems considering operation flexibility of integrated energy system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 23 ）： 29 - 40 .

李鹏，黄文琦，王鑫，等 . 数据与知识联合驱动的人工智能方法在电力调度中的应用综述［J］. 电力系统自动化， 2024 ， 48 （ 1 ）： 160 - 175 .

LI Peng ， HUANG Wenqi ， WANG Xin ， et al . Review on application of combined data-knowledge-driven artificial intelligence methods in power dispatching ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 1 ）： 160 - 175 .

陈文彬，颜腾飞，陆小伟，等 . 基于区间过电压风险的分布式光伏接纳能力区间仿射分析［J］. 广东电力， 2024 ， 37 （ 7 ）： 11 - 21 .

CHEN Wenbin ， YAN Tengfei ， LU Xiaowei ， et al . Interval affine analysis of distributed photovoltaic acceptance capacity based on interval overvoltage risk ［J］. Guangdong Electric Power ， 2024 ， 37 （ 7 ）： 11 - 21 .

张玉敏，张旋，吉兴全，等 . 计及电-气-热IES动态特性的输配协同机组组合［J］. 中国电机工程学报， 2022 ， 42 （ 23 ）： 8576 - 8592 .

ZHANG Yumin ， ZHANG Xuan ， JI Xingquan ， et al . Synergetic unit commitment of transmission and distribution network considering dynamic characteristics of electricity-gas-heat integrated energy system ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 23 ）： 8576 - 8592 .

路镇铭，徐英，仪忠凯，等 . 基于双向安德森加速分解协调算法的输配协同无功优化［J］. 电力系统自动化， 2024 ， 48 （ 12 ）： 130 - 138 .

LU Zhenming ， XU Ying ， YI Zhongkai ， et al . Transmission and distribution coordinated reactive power optimization based on bidirectional Anderson acceleration decomposition coordination algorithm ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 12 ）： 130 - 138 .

YANG H B ， YOU P C ， SHANG C . Distributed planning of electricity and natural gas networks and energy hubs ［J］. Applied Energy ， 2021 ， 282 ： 116090 .

ATENCIA-DE LA OSSA J ， OROZCO-HENAO C ， MARÍN-QUINTERO J . Master-slave strategy based in artificial intelligence for the fault section estimation in active distribution networks and microgrids ［J］. International Journal of Electrical Power & Energy Systems ， 2023 ， 148 ： 108923 .

LIU H L ， SHI Y W ， WANG Z ， et al . A distributed algorithm based on relaxed ADMM for energy resources coordination ［J］. International Journal of Electrical Power & Energy Systems ， 2022 ， 135 ： 107482 .

李雪，季寒松，张儒峰，等 . 计及多类型微网响应特性的城市配电系统分布式优化调度［J］. 电力系统自动化， 2022 ， 46 （ 17 ）： 74 - 82 .

LI Xue ， JI Hansong ， ZHANG Rufeng ， et al . Distributed optimal scheduling of urban distribution system considering response characteristics of multi-type microgrids ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 17 ）： 74 - 82 .

WANG K ， WANG C F ， YAO W L ， et al . Embedding P2P transaction into demand response exchange： a cooperative demand response management framework for IES ［J］. Applied Energy ， 2024 ， 367 ： 123319 .

LI P ， YANG M ， WU Q W . Confidence interval based distributionally robust real-time economic dispatch approach considering wind power accommodation risk ［J］. IEEE Transactions on Sustainable Energy ， 2021 ， 12 （ 1 ）： 58 - 69 .

LI Z M ， WU L ， XU Y ， et al . Multi-stage real-time operation of a multi-energy microgrid with electrical and thermal energy storage assets： a data-driven MPC-ADP approach ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 1 ）： 213 - 226 .

张玉敏，孙鹏凯，孟祥剑，等 . 基于碳势-能源价格双响应的综合能源系统低碳经济调度［J］. 电力系统自动化， 2024 ， 48 （ 9 ）： 21 - 33 .

ZHANG Yumin ， SUN Pengkai ， MENG Xiangjian ， et al . Low-carbon economic dispatching of integrated energy system based on dual response of carbon intensity and energy price ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 9 ）： 21 - 33 .

SI Z Y ， YANG M ， YU Y X ， et al . Photovoltaic power forecast based on satellite images considering effects of solar position ［J］. Applied Energy ， 2021 ， 302 ： 117514 .

YANG M T ， LIU Y X ， GUO L ， et al . Hierarchical distributed chance-constrained voltage control for HV and MV DNs based on nonlinearity-adaptive data-driven method ［J/OL］. IEEE Transactions on Power Systems ［ 2024-05-01 ］. https：//ieeexplore.ieee.org/abstract/document/10556799 https://ieeexplore.ieee.org/abstract/document/10556799 .

路小俊，吴在军，李培帅，等 . 面向光伏集群的配电网模型-数据联合驱动无功/电压控制［J］. 电力系统自动化， 2024 ， 48 （ 9 ）： 97 - 106 .

LU Xiaojun ， WU Zaijun ， LI Peishuai ， et al . Combined model-and data-driven volt/var control for distribution network with photovoltaic clusters ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 9 ）： 97 - 106 .

乔骥，王新迎，张擎，等 . 基于柔性行动器-评判器深度强化学习的电-气综合能源系统优化调度［J］. 中国电机工程学报， 2021 ， 41 （ 3 ）： 819 - 833 .

QIAO Ji ， WANG Xinying ， ZHANG Qing ， et al . Optimal dispatch of integrated electricity-gas system with soft actor-critic deep reinforcement learning ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 3 ）： 819 - 833 .

王志杨，张靖，何宇，等 . 数据与模型混合驱动的区域综合能源系统双层优化调度决策方法［J］. 电网技术， 2022 ， 46 （ 10 ）： 3797 - 3813 .

WANG Zhiyang ， ZHANG Jing ， HE Yu ， et al . Hybrid data-driven and model-driven bi-level optimal scheduling decision for regional integrated energy systems ［J］. Power System Technology ， 2022 ， 46 （ 10 ）： 3797 - 3813 .

ZHANG Y B ， CHEN X ， GONG S M ， et al . Collective large-scale wind farm multivariate power output control based on hierarchical communication multi-agent proximal policy optimization ［J］. Renewable Energy ， 2023 ， 219 ： 119479 .

王子昊，王旭，蒋传文，等 . 基于近端策略优化算法的灾后配电网韧性提升方法［J］. 电力系统自动化， 2022 ， 46 （ 21 ）： 62 - 70 .

WANG Zihao ， WANG Xu ， JIANG Chuanwen ， et al . Resilience improvement method for post-disaster distribution network based on proximal policy optimization algorithm ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 21 ）： 62 - 70 .

XI L ， WU J N ， XU Y C ， et al . Automatic generation control based on multiple neural networks with actor-critic strategy ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2021 ， 32 （ 6 ）： 2483 - 2493 .

JI X Q ， YIN Z Y ， ZHANG Y M ， et al . Real-time autonomous dynamic reconfiguration based on deep learning algorithm for distribution network ［J］. Electric Power Systems Research ， 2021 ， 195 ： 107132 .

王育飞，王义顺，薛花，等 . 基于改进MADDPG算法的储能系统多目标优化调度策略［J］. 电力系统自动化， 2024 ， 48 （ 23 ）： 98 - 111 .

WANG Yufei ， WANG Yishun ， XUE Hua ， et al . Multi-objective optimal scheduling strategy of energy storage system based on improved multi-agent deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 23 ）： 98 - 111 .

张剑，崔明建，姚潇毅，等 . 基于数据驱动与物理模型的主动配电网双时间尺度协调优化［J］. 电力系统自动化， 2023 ， 47 （ 20 ）： 64 - 71 .

ZHANG Jian ， CUI Mingjian ， YAO Xiaoyi ， et al . Dual-timescale active and reactive power coordinated optimization for active distribution network based on data-driven and physical model ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 20 ）： 64 - 71 .

FUJIMOTO S ， HOOF H ， MEGER D . Addressing function approximation error in actor-critic methods ［C］// 2018 International conference on machine learning ， July 10-15 ， 2018 ， Stockholmsmässan， Sweden ： 1587 - 1596 .

KARGARIAN A ， FU Y . System of systems based security-constrained unit commitment incorporating active distribution grids ［J］. IEEE Transactions on Power Systems ， 2014 ， 29 （ 5 ）： 2489 - 2498 .

田家辉，梁栋，葛磊蛟，等 . 面向高精度状态感知的配电系统微型同步相量测量单元优化配置［J］. 电网技术， 2019 ， 43 （ 7 ）： 2235 - 2242 .

TIAN Jiahui ， LIANG Dong ， GE Leijiao ， et al . Placement of micro-phasor measurement units in distribution systems for highly accurate state perception ［J］. Power System Technology ， 2019 ， 43 （ 7 ）： 2235 - 2242 .

曹一家，赵一睿，李勇，等 . 考虑针对变电站网络攻击风险的脆弱元件筛选方法［J］. 电力系统自动化， 2023 ， 47 （ 8 ）： 25 - 33 .

CAO Yijia ， ZHAO Yirui ， LI Yong ， et al . Vulnerable component screening method considering cyber-attack risk in substation ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 8 ）： 25 - 33 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Voltage Control for Active Distribution Network Based on Bayesian Deep Reinforcement Learning

Dual-timescale Active and Reactive Power Coordinated Optimization for Active Distribution Network Based on Data-driven and Physical Model

Coordinated Optimization of Active Distribution Network Based on Deep Deterministic Policy Gradient Algorithm

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

ZHANG Xiao

WU Zhi

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

School of Electrical Engineering, Southeast University

NARI Group Corporation(State Grid Electric Power Research Institute)

Dalian Electric Power Supply Company of State Grid Liaoning Electric Power Co., Ltd.

⁰