Reinforcement Learning Based Double-layer Optimization Method for Active Distribution Network with Soft Open Point

DONG Lei; WU Yi; ZHANG Tao; WANG Xinying; HAO Yi; GUO Lingxu

doi:10.7500/AEPS20220327004

您当前的位置：

首页 >

文章列表页 >

Reinforcement Learning Based Double-layer Optimization Method for Active Distribution Network with Soft Open Point

Special Topic onFlexible Interconnection and Morphological Evolution of Smart Distribution Networks | 更新时间：2025-06-16

- Reinforcement Learning Based Double-layer Optimization Method for Active Distribution Network with Soft Open Point
- Automation of Electric Power Systems Vol. 47, Issue 6, Pages: 59-68(2023)
- 作者机构：
  
  1.新能源电力系统国家重点实验室（华北电力大学），北京市 102206
  2.智能电网教育部重点实验室（天津大学），天津市 300072
  3.中国电力科学研究院有限公司，北京市 100192
  4.国网天津市电力公司，天津市 300010
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5700-202212197A-1-1-ZN)
- DOI：10.7500/AEPS20220327004
  CLC：
- Received：27 March 2022，
  
  Revised：2022-06-18，
  
  Published Online：16 February 2023，
  
  Published：25 March 2023
- 稿件说明：
移动端阅览
董雷,吴怡,张涛等.基于强化学习的含智能软开关主动配电网双层优化方法[J].电力系统自动化,2023,47(6):59-68.

DONG Lei,WU Yi,ZHANG Tao,et al.Reinforcement Learning Based Double-layer Optimization Method for Active Distribution Network with Soft Open Point[J].Automation of Electric Power Systems,2023,47(6):59-68.
董雷,吴怡,张涛等.基于强化学习的含智能软开关主动配电网双层优化方法[J].电力系统自动化,2023,47(6):59-68. DOI： 10.7500/AEPS20220327004.

DONG Lei,WU Yi,ZHANG Tao,et al.Reinforcement Learning Based Double-layer Optimization Method for Active Distribution Network with Soft Open Point[J].Automation of Electric Power Systems,2023,47(6):59-68. DOI： 10.7500/AEPS20220327004.

摘要

由于大量分布式电源接入配电网，配电网调控能力不足导致电压波动大、可再生能源消纳水平低以及经济性指标差等问题突出。为此，提出了一种智能软开关（SOP）与配电网动态重构协同优化方法，充分调动网侧灵活性资源，并构建基于强化学习的双层优化模型。模型上层将生成的辐射型拓扑结构集合作为强化学习的动作空间，动态选择拓扑结构；下层基于上层的网络结构进行含SOP可控有源设备运行优化，挖掘SOP灵活的潮流调控能力

并依据优化结果不断修正上层拓扑选择，可高效求解此多时间尺度混合整数非线性规划问题。通过删减无效网络、对历史信息计及优先级采样等措施，加速了算法收敛速度。算例分析表明，基于强化学习的双层协同优化方法给出的优化策略有效改善了主动配电网运行水平

并且能够自适应源荷不确定性场景。

Abstract

Due to the integration of a large number of distributed genreators to the distribution network

the insufficient regulation and control capacity of the distribution network has led to serious problems such as large voltage fluctuations

low consumption level of renewable energy

and poor economic indicators. Therefore

a collaborative optimization method of soft open point (SOP) and dynamic reconfiguration of the distribution network is proposed to fully mobilize the flexibility resources on the network side

and a double-layer optimization model based on reinforcement learning is constructed. In the upper layer of the model

the generated radial topological structure set is used as the action space of reinforcement learning

and the topological structure is dynamically selected. The lower layer optimizes the operation of controllable active equipment with SOP based on the network structure of the upper layer

excavates the flexible power flow regulation ability of SOP

and continuously modifies the topology selection of the upper layer according to the optimization results

which can effectively solve the multi-time-scale mixed-integer nonlinear programming problem. The convergence speed of the algorithm is accelerated by deleting invalid networks and taking priority sampling of historical information. The example analysis shows that the optimization strategy given by the double-layer collaborative optimization method based on reinforcement learning effectively improves the operation level of the active distribution network

and can adapt to the source-load uncertainty scenarios.

关键词

Keywords

references

张沈习，王丹阳，程浩忠，等 . 双碳目标下低碳综合能源系统规划关键技术及挑战［J］. 电力系统自动化， 2022 ， 46 （ 8 ）： 189 - 207 .

ZHANG Shenxi ， WANG Danyang ， CHENG Haozhong ， et al . Key technologies and challenges of low-carbon integrated energy system planning for carbon emission peak and carbon neutrality ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 8 ）： 189 - 207 .

彭静，王军，亓富军，等 . “双碳”目标下配电网多阶段扩展规划［J］. 电力系统保护与控制， 2022 ， 50 （ 7 ）： 153 - 161 .

PENG Jing ， WANG Jun ， QI Fujun ， et al . Multi-stage expansion planning of a distribution network with double-carbon policy ［J］. Power System Protection and Control ， 2022 ， 50 （ 7 ）： 153 - 161 .

HUANG W . Distribution network reconfiguration for short-term voltage stability enhancement： an efficient deep learning approach ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 6 ）： 5385 - 5395 .

HUANG W J ， ZHANG X R ， ZHENG W Y . Resilient power network structure for stable operation of energy systems： a transfer learning approach ［J］. Applied Energy ， 2021 ， 296 ： 117065 .

马燕峰，谢家荣，赵书强，等 . 考虑园区综合能源系统接入的主动配电网多目标优化调度［J］. 电力系统自动化， 2022 ， 46 （ 13 ）： 53 - 61 .

MA Yanfeng ， XIE Jiarong ， ZHAO Shuqiang ， et al . Multi-objective optimal dispatching for active distribution network considering park-level integrated energy system ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 13 ）： 53 - 61 .

乐健，周谦，王曹，等 . 无功补偿设备和分布式电源协同的配电网优化控制策略研究［J］. 电力系统保护与控制， 2020 ， 48 （ 18 ）： 38 - 47 .

LE Jian ， ZHOU Qian ， WANG Cao ， et al . Research on distributed optimal control strategy for a distribution network based on the cooperation of DGs and var compensators ［J］. Power System Protection and Control ， 2020 ， 48 （ 18 ）： 38 - 47 .

龚锦霞，刘艳敏 . 基于深度确定策略梯度算法的主动配电网协调优化［J］. 电力系统自动化， 2020 ， 44 （ 6 ）： 113 - 120 .

GONG Jinxia ， LIU Yanmin . Coordinated optimization of active distribution network based on deep deterministic policy gradient algorithm ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 6 ）： 113 - 120 .

王成山，宋关羽，李鹏，等 . 基于智能软开关的智能配电网柔性互联技术及展望［J］. 电力系统自动化， 2016 ， 40 （ 22 ）： 168 - 175 .

WANG Chengshan ， SONG Guanyu ， LI Peng ， et al . Research and prospect for soft open point based flexible interconnection technology for smart distribution network ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 22 ）： 168 - 175 .

王成山，孙充勃，李鹏，等 . 基于SNOP的配电网运行优化及分析［J］. 电力系统自动化， 2015 ， 39 （ 9 ）： 82 - 87 .

WANG Chengshan ， SUN Chongbo ， LI Peng ， et al . SNOP-based operation optimization and analysis of distribution networks ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 9 ）： 82 - 87 .

王成山，宋关羽，李鹏，等 . 一种联络开关和智能软开关并存的配电网运行时序优化方法［J］. 中国电机工程学报， 2016 ， 36 （ 9 ）： 2315 - 2321 .

WANG Chengshan ， SONG Guanyu ， LI Peng ， et al . A hybrid optimization method for distribution network operation with SNOP and tie switch ［J］. Proceedings of the CSEE ， 2016 ， 36 （ 9 ）： 2315 - 2321 .

丛鹏伟，唐巍，娄铖伟，等 . 含高渗透率可再生能源的主动配电网两阶段柔性软开关与联络开关协调优化控制［J］. 电工技术学报， 2019 ， 34 （ 6 ）： 1263 - 1272 .

CONG Pengwei ， TANG Wei ， LOU Chengwei ， et al . Two-stage coordination optimization control of soft open point and tie switch in active distribution network with high penetration renewable energy generation ［J］. Transactions of China Electrotechnical Society ， 2019 ， 34 （ 6 ）： 1263 - 1272 .

WANG C ， LEI S B ， JU P ， et al . MDP-based distribution network reconfiguration with renewable distributed generation： approximate dynamic programming approach ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 4 ）： 3620 - 3631 .

ENACHEANU B ， RAISON B ， CAIRE R ， et al . Radial network reconfiguration using genetic algorithm based on the matroid theory ［J］. IEEE Transactions on Power Systems ， 2008 ， 23 （ 1 ）： 186 - 195 .

WU H Y ， DONG P ， LIU M B . Distribution network reconfiguration for loss reduction and voltage stability with random fuzzy uncertainties of renewable energy generation and load ［J］. IEEE Transactions on Industrial Informatics ， 2020 ， 16 （ 9 ）： 5655 - 5666 .

李扬，韦钢，马钰，等 . 含电动汽车和分布式电源的主动配电网动态重构［J］. 电力系统自动化， 2018 ， 42 （ 5 ）： 102 - 110 .

LI Yang ， WEI Gang ， MA Yu ， et al . Dynamic reconfiguration of active distribution network considering electric vehicles and distributed generations ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 5 ）： 102 - 110 .

孙伟卿，刘唯，张婕 . 高比例可再生能源背景下配电网动态重构与移动储能协同优化［J］. 电力系统自动化， 2021 ， 45 （ 19 ）： 80 - 90 .

SUN Weiqing ， LIU Wei ， ZHANG Jie . Collaborative optimization for dynamic reconfiguration of distribution network and mobile energy storage in background of high proportion of renewable energy ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 19 ）： 80 - 90 .

李超，苗世洪，盛万兴，等 . 考虑动态网络重构的主动配电网优化运行策略［J］. 电工技术学报， 2019 ， 34 （ 18 ）： 3909 - 3919 .

LI Chao ， MIAO Shihong ， SHENG Wanxing ， et al . Optimization operation strategy of active distribution network considering dynamic network reconfiguration ［J］. Transactions of China Electrotechnical Society ， 2019 ， 34 （ 18 ）： 3909 - 3919 .

张自东，邱才明，张东霞，等 . 基于深度强化学习的微电网复合储能协调控制方法［J］. 电网技术， 2019 ， 43 （ 6 ）： 1914 - 1921 .

ZHANG Zidong ， QIU Caiming ， ZHANG Dongxia ， et al . A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1914 - 1921 .

赵冬梅，陶然，马泰屹，等 . 基于多智能体深度确定策略梯度算法的有功-无功协调调度模型［J］. 电工技术学报， 2021 ， 36 （ 9 ）： 1914 - 1925 .

ZHAO Dongmei ， TAO Ran ， MA Taiyi ， et al . Active and reactive power coordinated dispatching based on multi-agent deep deterministic policy gradient algorithm ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 9 ）： 1914 - 1925 .

陈亭轩，徐潇源，严正，等 . 基于深度强化学习的光储充电站储能系统优化运行［J］. 电力自动化设备， 2021 ， 41 （ 10 ）： 90 - 98 .

CHEN Tingxuan ， XU Xiaoyuan ， YAN Zheng ， et al . Optimal operation based on deep reinforcement learning for energy storage system in photovoltaic-storage charging station ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 10 ）： 90 - 98 .

刘威，张东霞，王新迎，等 . 基于深度强化学习的电网紧急控制策略研究［J］. 中国电机工程学报， 2018 ， 38 （ 1 ）： 109 - 119 .

LIU Wei ， ZHANG Dongxia ， WANG Xinying ， et al . A decision making strategy for generating unit tripping under emergency circumstances based on deep reinforcement learning ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 1 ）： 109 - 119 .

倪爽，崔承刚，杨宁，等 . 基于深度强化学习的配电网多时间尺度在线无功优化［J］. 电力系统自动化， 2021 ， 45 （ 10 ）： 77 - 85 .

NI Shuang ， CUI Chenggang ， YANG Ning ， et al . Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 10 ）： 77 - 85 .

JUBRIL A M ， KOMOLAFE O A ， ALAWODE K O . Solving multi-objective economic dispatch problem via semidefinite programming ［J］. IEEE Transactions on Power Systems ， 2013 ， 28 （ 3 ）： 2056 - 2064 .

SAATY T L . Decision making—the analytic hierarchy and network processes（AHP/ANP）［J］. Journal of Systems Science and Systems Engineering ， 2004 ， 13 （ 1 ）： 1 - 35 .

瞿合祚，李晓明，杨玲君，等 . 考虑负荷和分布式电源时变性的配电网多目标动态重构和DG调度［J］. 高电压技术， 2019 ， 45 （ 3 ）： 873 - 881 .

QU Hezuo ， LI Xiaoming ， YANG Lingjun ， et al . Multi-objective distribution network dynamic reconfiguration and DG control considering time variation of load and DG ［J］. High Voltage Engineering ， 2019 ， 45 （ 3 ）： 873 - 881 .

赵静翔，牛焕娜，王钰竹 . 基于信息熵时段划分的主动配电网动态重构［J］. 电网技术， 2017 ， 41 （ 2 ）： 402 - 408 .

ZHAO Jingxiang ， NIU Huanna ， WANG Yuzhu . Dynamic reconfiguration of active distribution network based on information entropy of time intervals ［J］. Power System Technology ， 2017 ， 41 （ 2 ）： 402 - 408 .

傅质馨，李潇逸，朱俊澎，等 . 基于马尔可夫决策过程的家庭能量管理智能优化策略［J］. 电力自动化设备， 2020 ， 40 （ 7 ）： 141 - 148 .

FU Zhixin ， LI Xiaoyi ， ZHU Junpeng ， et al . Intelligent optimization strategy of home energy management based on Markov decision process ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 7 ）： 141 - 148 .

李毅夫 . 一种求图的全部生成树的新方法［J］. 齐齐哈尔师范学院学报（自然科学版）， 1994 ， 14 （ 4 ）： 7 - 9 .

LI Yifu . A new method for finding out all the spanning trees of a graph ［J］. Journal of Qiqihar Teachers’ College （Natural Science）， 1994 ， 14 （ 4 ）： 7 - 9 .

刘兴宇，温步瀛，江岳文 . 基于条件风险价值的含风电电力系统旋转备用效益研究［J］. 电工技术学报， 2017 ， 32 （ 9 ）： 169 - 178 .

LIU Xingyu ， WEN Buying ， JIANG Yuewen . Study on the benefit from spinning reserve in wind power integrated power system based on conditional value at risk ［J］. Transactions of China Electrotechnical Society ， 2017 ， 32 （ 9 ）： 169 - 178 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Equivalent Projection Based Cooperative Optimal Operation Method for Multi-microgrid Flexible Distribution System

Networking Morphology, Key Feature and Research Prospect of Mesh-type Medium-voltage Distribution Network

Distributionally Robust Optimization Model of Hosting Capability for Distributed Generators in Flexible Interconnected Distribution Network

Related Author

ZHANG Tao

ZHANG Rufeng

ZHANG Yuyue

JIANG Tao

LI Xue

FU Linbo

CHEN Houhe

LIU Hong

Related Institution

Key Laboratory of Smart Grid of Ministry of Education (Tianjin University)

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

Key Laboratory of the Ministry of Education on Smart Power Grids (Tianjin University), Tianjin 300072, China

State Grid Shanghai Energy Internet Research Institute Co., Ltd., Shanghai 201210, China

State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources (North China Electric Power University)

⁰