Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning

Shuang NI; Chenggang CUI; Ning YANG; Hui CHEN; Peifeng XI; Zhenkun LI

doi:10.7500/AEPS20200830003

您当前的位置：

首页 >

文章列表页 >

Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning

Basic Research | 更新时间：2025-06-16

- Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 10, Pages: 77-85(2021)
- 作者机构：
  
  1.上海电力大学自动化工程学院，上海市 200090
  2.上海市智能电网需求响应重点实验室，上海市 200063
  3.上海电力大学电气工程学院，上海市 200090
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China
- DOI：10.7500/AEPS20200830003
  CLC：
- Received：30 August 2020，
  
  Revised：2020-11-27，
  
  Published Online：23 February 2021，
  
  Published：25 May 2021
- 稿件说明：
移动端阅览
倪爽,崔承刚,杨宁等.基于深度强化学习的配电网多时间尺度在线无功优化[J].电力系统自动化,2021,45(10):77-85.

NI Shuang,CUI Chenggang,YANG Ning,et al.Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(10):77-85.
倪爽,崔承刚,杨宁等.基于深度强化学习的配电网多时间尺度在线无功优化[J].电力系统自动化,2021,45(10):77-85. DOI： 10.7500/AEPS20200830003.

NI Shuang,CUI Chenggang,YANG Ning,et al.Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(10):77-85. DOI： 10.7500/AEPS20200830003.

摘要

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题，给配电网在线无功优化带来了挑战。文中采用深度强化学习方法，提出了一种多时间尺度配电网在线无功优化运行方案。该方案将配电网在线无功优化问题转化为马尔可夫决策过程。鉴于不同无功补偿设备的调节速度不同，设计2个时间尺度分别对离散调节设备和连续调节设备进行优化配置。该方案能够实时追踪配电网状态，在线决策无功调节设备的优化方案，且不依赖精确的潮流模型，适用于复杂多变、通信条件差的部分可观测配电网。最后，通过算例验证了所提方法的有效性和鲁棒性。

Abstract

The distribution network with distributed generators has problems such as inaccurate power flow modeling

power communication conditions

and difficulty in coordination of various reactive power compensation equipment. The problems bring challenges to the online optimization for reactive power of the distribution network. This paper proposes a multi-time-scale online optimal operation scheme for reactive power of the distribution network based on the method of deep reinforcement learning (DRL). The scheme converts the problem of the online optimization for reactive power of the distribution network into a Markov decision process (MDP). In view of the different adjustment speeds of different reactive power compensation equipment

two time scales are designed to optimize the configuration of the discrete adjustment equipment and the continuous adjustment equipment. This scheme can track the status of the distribution network in real time

make online decisions about the optimization for reactive power regulation equipment

and does not rely on accurate power flow models. It is suitable for partial observable distribution networks that are complex and changeable and have poor communication conditions. Finally

a numerical example verifies the effectiveness and robustness of the proposed method.

关键词

Keywords

references

高荣，寇鹏，梁得亮，等 . 含混合式配电变压器的主动配电网电压鲁棒模型预测控制［J］. 中国电机工程学报， 2020 ， 40 （ 7 ）： 2081 - 2090 .

GAO Rong ， KOU Peng ， LIANG Deliang ， et al . Robust model predictive control for the voltage regulation in active distribution networks with hybrid distribution transformers ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 7 ）： 2081 - 2090 .

LIN C H ， WU W C ， ZHANG B M ， et al . Decentralized reactive power optimization method for transmission and distribution networks accommodating large-scale DG integration ［J］. IEEE Transactions on Sustainable Energy ， 2016 ， 8 （ 1 ）： 363 - 373 .

COMODI G ， GIANTOMASSI A ， SEVERINI M ， et al . Multi-apartment residential microgrid with electrical and thermal storage devices： experimental analysis and simulation of energy management strategies ［J］. Applied Energy ， 2015 ， 137 ： 854 - 866 .

LUCIA I ， CRISTINA C ， MIGUEL C ， et al . Optimal energy management for a residential microgrid including a vehicle-to-grid system ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 4 ）： 2163 - 2172 .

SHEN J S ， JIANG C W ， LIU Y Y ， et al . A microgrid energy management system with demand response for providing grid peak shaving ［J］. Electric Power Components and Systems ， 2016 ， 44 （ 8 ）： 843 - 852 .

蒋平，梁乐 . 基于内点法和遗传算法相结合的交直流系统无功优化［J］. 高电压技术， 2015 ， 41 （ 3 ）： 724 - 729 .

JIANG Ping ， LIANG Le . Reactive power optimization of hybrid AC/HVDC power system combining interior point algorithm and genetic algorithm ［J］. High Voltage Engineering ， 2015 ， 41 （ 3 ）： 724 - 729 .

张倩，丁津津，张道农，等 . 基于集群划分的高渗透率分布式系统无功优化［J］. 电力系统自动化， 2019 ， 43 （ 3 ）： 130 - 143 .

ZHANG Qian ， DING Jinjin ， ZHANG Daonong ， et al . Reactive power optimization of high-penetration distributed generation system based on clusters partition ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 3 ）： 130 - 143 .

刘德伟，郭剑波，黄越辉，等 . 基于风电功率概率预测和运行风险约束的含风电场电力系统动态经济调度［J］. 中国电机工程学报， 2013 ， 33 （ 16 ）： 9 - 15 .

LIU Dewei ， GUO Jianbo ， HUANG Yuehui ， et al . Dynamic economic dispatch of wind integrated power system based on wind power probabilistic forecasting and operation risk constraints ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 16 ）： 9 - 15 .

王淳，高元海 . 基于概率统计的含间歇性分布式发电的配电网无功优化［J］. 电网技术， 2014 ， 38 （ 4 ）： 1032 - 1037 .

WANG Chun ， GAO Yuanhai . Probability statistics based reactive power optimization of distribution network containing intermittent distributed generations ［J］. Power System Technology ， 2014 ， 38 （ 4 ）： 1032 - 1037 .

张伯明，陈建华，吴文传 . 大规模风电接入电网的有功分层模型预测控制方法［J］. 电力系统自动化， 2014 ， 38 （ 9 ）： 6 - 14 .

ZHANG Boming ， CHEN Jianhua ， WU Wenchuan . A hierarchical model predictive control method of active power for accommodating large-scale wind power integration ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 9 ）： 6 - 14 .

刘惠姣 . 基于混合智能算法的配电网无功优化的研究［D］. 保定：华北电力大学， 2009 .

LIU Huijiao . Study of the reactive power optimization for distribution systems based on hybrid intelligent algrithm ［D］. Baoding ： North China Electric Power University ， 2009 .

王克文，张东岳 . 电力系统无功优化算法综述［J］. 电测与仪表， 2016 ， 53 （ 10 ）： 73 - 79 .

WANG Kewen ， ZHANG Dongyue . A summary of reactive power optimization algrithm in power system ［J］. Electrical Measurement & Instrumentation ， 2016 ， 53 （ 10 ）： 73 - 79 .

明杰 . 基于场景分析的多风电场无功优化［D］. 成都：西南交通大学， 2017 .

MING Jie . Reactive power optimization with multi-wind farms based on scenario analysis ［D］. Chengdu ： Southwest Jiaotong University ， 2017 .

任佳依，顾伟，王勇，等 . 基于模型预测控制的主动配电网多时间尺度有功无功协调调度［J］. 中国电机工程学报， 2018 ， 38 （ 5 ）： 1397 - 1407 .

REN Jiayi ， GU Wei ， WANG Yong ， et al . Multi-time scale active and reactive power coordinated optimal dispatch in active distribution network based on model predictive control ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 5 ）： 1397 - 1407 .

葛乐，张伟，严锋，等 . 基于自适应模型预测控制的柔性互联配电网优化调度［J］. 电力自动化设备， 2020 ， 40 （ 6 ）： 15 - 23 .

GE Le ， ZHANG Wei ， YAN Feng ， et al . Optimal scheduling of flexible interconnected distrbution work based on adaptive model predictive control ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 6 ）： 15 - 23 .

张宇精，乔颖，鲁宗相，等 . 含高比例分布式电源接入的低感知度配电网电压控制方法［J］. 电网技术， 2019 ， 43 （ 5 ）： 1528 - 1535 .

ZHANG Yujing ， QIAO Ying ， LU Zongxiang ， et al . Voltage control for partially visible distribution networks with high DG penetration ［J］. Power System Technology ， 2019 ， 43 （ 5 ）： 1528 - 1535 .

周后良 . 基于数据挖掘技术的电网无功优化和降损研究［D］. 长沙：湖南大学， 2017 .

ZHOU Houliang . Research on reactive power optimization and loss reduction of net work based on data mining technology ［D］. Changsha ： Hunan University ， 2017 .

GONG J X ， XIE D ， ZHANG Y C ， et al . Combination of data mining and ant colony algorithm for reactive power optimization ［C］// 2011 3rd International Conference on Measuring Technology and Mechatronics Automation ， January 6 - 7 ， 2011 ， Shanghai ， China .

邵美阳，吴俊勇，石琛，等 . 基于数据驱动和深度置信网络的配电网无功优化［J］. 电网技术， 2019 ， 43 （ 6 ）： 1874 - 1885 .

SHAO Meiyang ， WU Junyong ， SHI Chen ， et al . Reactive power optimization of distribution network based on data driven and deep belief network ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1874 - 1885 .

LIU H T ， WU W C . Two-stage deep reinforcement learning for inverter-based volt-var control in active distribution networks ［EB/OL］. ［ 2020-05-01 ］. https：//ui.adsabs.harvard.edu/abs/2020arXiv200511142L https://ui.adsabs.harvard.edu/abs/2020arXiv200511142L .

XU Y L ， ZHANG W ， LIU W X ， et al . Multi agent-based reinforcement learning for optimal reactive power dispatch ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics ， Part C （Applications and Reviews）， 2012 ， 42 （ 6 ）： 1742 - 1751 .

李琦，乔颖，张宇精 . 配电网持续无功优化的深度强化学习方法［J］. 电网技术， 2020 ， 44 （ 4 ）： 1473 - 1480 .

LI Qi ， QIAO Ying ， ZHANG Yujing . Continuous reactive power optimization of distribution network using deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 4 ）： 1473 - 1480 .

ZHOU X Y ， DALLANESE E ， CHEN L J ， et al . An incentive-based online optimization framework for distribution grids ［J］. IEEE Transactions on Automatic Control ， 2018 ， 63 （ 7 ）： 2019 - 2031 .

YANG Q L ， WANG G ， SADEGHI A ， et al . Two-timescale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 11 （ 3 ）： 2313 - 2323 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 ： 529 - 533 .

GRONDMAN I ， BUSONIU L ， BABUSKA R . A survey of actor-critic reinforcement learning： standard and natural policy gradients ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics ， Part C （Applications and Reviews）， 2012 ， 42 （ 6 ）： 1291 - 1307 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Self-learning Optimal Scheduling Method of Demand Response Based on Situation Orientation

基于锥优化的储能系统参与配电网运行调节快速计算方法

Related Author

MING Weiyu

LI Yan

CHENG Shijie

LONG Yu

XU Jing

WANG Shaorong

ZHAO Jinli

Weiyu MING

Related Institution

State Key Laboratory of Advanced Electromagnetic Engineering and Technology, Huazhong University of Science and Technology

Key Laboratory of Smart Grid of Ministry of Education, Tianjin University

State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources (North China Electric Power University)

State Grid Electric Power Research Institute (NARI Group Corporation)

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

⁰