基于深度强化学习的配电网多时间尺度在线无功优化

倪爽; 崔承刚; 杨宁; 陈辉; 奚培锋; 李振坤

doi:10.7500/AEPS20200830003

您当前的位置：

首页 >

文章列表页 >

基于深度强化学习的配电网多时间尺度在线无功优化

学术研究 | 更新时间：2025-06-16

- 基于深度强化学习的配电网多时间尺度在线无功优化
- Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning
- 电力系统自动化-方正平台 2021年45卷第10期页码：77-85
- 作者机构：
  
  1.上海电力大学自动化工程学院，上海市 200090
  2.上海市智能电网需求响应重点实验室，上海市 200063
  3.上海电力大学电气工程学院，上海市 200090
- 作者简介：
  
  倪爽(1995—)，女，硕士研究生，主要研究方向：人工智能在配电网优化运行方面的应用。E-mail：767221467@qq.com
  崔承刚(1981—)，男，通信作者，副教授，硕士生导师，主要研究方向：可再生能源的优化调度。E-mail：cgcui@shiep.edu.cn
  杨宁(1976—)，男，教授，硕士生导师，主要研究方向：能量数据分析与管理。E-mail：yangning@shiep.edu.cn
- 基金信息：
  
  国家自然科学基金青年科学基金项目(51607111)
- DOI：10.7500/AEPS20200830003
  中图分类号：
- 收稿日期：2020-08-30，
  
  修回日期：2020-11-27，
  
  网络出版日期：2021-02-23，
  
  纸质出版日期：2021-05-25
- 稿件说明：
移动端阅览
倪爽,崔承刚,杨宁等.基于深度强化学习的配电网多时间尺度在线无功优化[J].电力系统自动化,2021,45(10):77-85.

NI Shuang,CUI Chenggang,YANG Ning,et al.Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(10):77-85.
倪爽,崔承刚,杨宁等.基于深度强化学习的配电网多时间尺度在线无功优化[J].电力系统自动化,2021,45(10):77-85. DOI： 10.7500/AEPS20200830003.

NI Shuang,CUI Chenggang,YANG Ning,et al.Multi-time-scale Online Optimization for Reactive Power of Distribution Network Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(10):77-85. DOI： 10.7500/AEPS20200830003.

摘要

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题，给配电网在线无功优化带来了挑战。文中采用深度强化学习方法，提出了一种多时间尺度配电网在线无功优化运行方案。该方案将配电网在线无功优化问题转化为马尔可夫决策过程。鉴于不同无功补偿设备的调节速度不同，设计2个时间尺度分别对离散调节设备和连续调节设备进行优化配置。该方案能够实时追踪配电网状态，在线决策无功调节设备的优化方案，且不依赖精确的潮流模型，适用于复杂多变、通信条件差的部分可观测配电网。最后，通过算例验证了所提方法的有效性和鲁棒性。

Abstract

The distribution network with distributed generators has problems such as inaccurate power flow modeling

power communication conditions

and difficulty in coordination of various reactive power compensation equipment. The problems bring challenges to the online optimization for reactive power of the distribution network. This paper proposes a multi-time-scale online optimal operation scheme for reactive power of the distribution network based on the method of deep reinforcement learning (DRL). The scheme converts the problem of the online optimization for reactive power of the distribution network into a Markov decision process (MDP). In view of the different adjustment speeds of different reactive power compensation equipment

two time scales are designed to optimize the configuration of the discrete adjustment equipment and the continuous adjustment equipment. This scheme can track the status of the distribution network in real time

make online decisions about the optimization for reactive power regulation equipment

and does not rely on accurate power flow models. It is suitable for partial observable distribution networks that are complex and changeable and have poor communication conditions. Finally

a numerical example verifies the effectiveness and robustness of the proposed method.

关键词

Keywords

references

高荣，寇鹏，梁得亮，等 . 含混合式配电变压器的主动配电网电压鲁棒模型预测控制［J］. 中国电机工程学报， 2020 ， 40 （ 7 ）： 2081 - 2090 .

GAO Rong ， KOU Peng ， LIANG Deliang ， et al . Robust model predictive control for the voltage regulation in active distribution networks with hybrid distribution transformers ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 7 ）： 2081 - 2090 .

LIN C H ， WU W C ， ZHANG B M ， et al . Decentralized reactive power optimization method for transmission and distribution networks accommodating large-scale DG integration ［J］. IEEE Transactions on Sustainable Energy ， 2016 ， 8 （ 1 ）： 363 - 373 .

COMODI G ， GIANTOMASSI A ， SEVERINI M ， et al . Multi-apartment residential microgrid with electrical and thermal storage devices： experimental analysis and simulation of energy management strategies ［J］. Applied Energy ， 2015 ， 137 ： 854 - 866 .

LUCIA I ， CRISTINA C ， MIGUEL C ， et al . Optimal energy management for a residential microgrid including a vehicle-to-grid system ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 4 ）： 2163 - 2172 .

SHEN J S ， JIANG C W ， LIU Y Y ， et al . A microgrid energy management system with demand response for providing grid peak shaving ［J］. Electric Power Components and Systems ， 2016 ， 44 （ 8 ）： 843 - 852 .

蒋平，梁乐 . 基于内点法和遗传算法相结合的交直流系统无功优化［J］. 高电压技术， 2015 ， 41 （ 3 ）： 724 - 729 .

JIANG Ping ， LIANG Le . Reactive power optimization of hybrid AC/HVDC power system combining interior point algorithm and genetic algorithm ［J］. High Voltage Engineering ， 2015 ， 41 （ 3 ）： 724 - 729 .

张倩，丁津津，张道农，等 . 基于集群划分的高渗透率分布式系统无功优化［J］. 电力系统自动化， 2019 ， 43 （ 3 ）： 130 - 143 .

ZHANG Qian ， DING Jinjin ， ZHANG Daonong ， et al . Reactive power optimization of high-penetration distributed generation system based on clusters partition ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 3 ）： 130 - 143 .

刘德伟，郭剑波，黄越辉，等 . 基于风电功率概率预测和运行风险约束的含风电场电力系统动态经济调度［J］. 中国电机工程学报， 2013 ， 33 （ 16 ）： 9 - 15 .

LIU Dewei ， GUO Jianbo ， HUANG Yuehui ， et al . Dynamic economic dispatch of wind integrated power system based on wind power probabilistic forecasting and operation risk constraints ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 16 ）： 9 - 15 .

王淳，高元海 . 基于概率统计的含间歇性分布式发电的配电网无功优化［J］. 电网技术， 2014 ， 38 （ 4 ）： 1032 - 1037 .

WANG Chun ， GAO Yuanhai . Probability statistics based reactive power optimization of distribution network containing intermittent distributed generations ［J］. Power System Technology ， 2014 ， 38 （ 4 ）： 1032 - 1037 .

张伯明，陈建华，吴文传 . 大规模风电接入电网的有功分层模型预测控制方法［J］. 电力系统自动化， 2014 ， 38 （ 9 ）： 6 - 14 .

ZHANG Boming ， CHEN Jianhua ， WU Wenchuan . A hierarchical model predictive control method of active power for accommodating large-scale wind power integration ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 9 ）： 6 - 14 .

刘惠姣 . 基于混合智能算法的配电网无功优化的研究［D］. 保定：华北电力大学， 2009 .

LIU Huijiao . Study of the reactive power optimization for distribution systems based on hybrid intelligent algrithm ［D］. Baoding ： North China Electric Power University ， 2009 .

王克文，张东岳 . 电力系统无功优化算法综述［J］. 电测与仪表， 2016 ， 53 （ 10 ）： 73 - 79 .

WANG Kewen ， ZHANG Dongyue . A summary of reactive power optimization algrithm in power system ［J］. Electrical Measurement & Instrumentation ， 2016 ， 53 （ 10 ）： 73 - 79 .

明杰 . 基于场景分析的多风电场无功优化［D］. 成都：西南交通大学， 2017 .

MING Jie . Reactive power optimization with multi-wind farms based on scenario analysis ［D］. Chengdu ： Southwest Jiaotong University ， 2017 .

任佳依，顾伟，王勇，等 . 基于模型预测控制的主动配电网多时间尺度有功无功协调调度［J］. 中国电机工程学报， 2018 ， 38 （ 5 ）： 1397 - 1407 .

REN Jiayi ， GU Wei ， WANG Yong ， et al . Multi-time scale active and reactive power coordinated optimal dispatch in active distribution network based on model predictive control ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 5 ）： 1397 - 1407 .

葛乐，张伟，严锋，等 . 基于自适应模型预测控制的柔性互联配电网优化调度［J］. 电力自动化设备， 2020 ， 40 （ 6 ）： 15 - 23 .

GE Le ， ZHANG Wei ， YAN Feng ， et al . Optimal scheduling of flexible interconnected distrbution work based on adaptive model predictive control ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 6 ）： 15 - 23 .

张宇精，乔颖，鲁宗相，等 . 含高比例分布式电源接入的低感知度配电网电压控制方法［J］. 电网技术， 2019 ， 43 （ 5 ）： 1528 - 1535 .

ZHANG Yujing ， QIAO Ying ， LU Zongxiang ， et al . Voltage control for partially visible distribution networks with high DG penetration ［J］. Power System Technology ， 2019 ， 43 （ 5 ）： 1528 - 1535 .

周后良 . 基于数据挖掘技术的电网无功优化和降损研究［D］. 长沙：湖南大学， 2017 .

ZHOU Houliang . Research on reactive power optimization and loss reduction of net work based on data mining technology ［D］. Changsha ： Hunan University ， 2017 .

GONG J X ， XIE D ， ZHANG Y C ， et al . Combination of data mining and ant colony algorithm for reactive power optimization ［C］// 2011 3rd International Conference on Measuring Technology and Mechatronics Automation ， January 6 - 7 ， 2011 ， Shanghai ， China .

邵美阳，吴俊勇，石琛，等 . 基于数据驱动和深度置信网络的配电网无功优化［J］. 电网技术， 2019 ， 43 （ 6 ）： 1874 - 1885 .

SHAO Meiyang ， WU Junyong ， SHI Chen ， et al . Reactive power optimization of distribution network based on data driven and deep belief network ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1874 - 1885 .

LIU H T ， WU W C . Two-stage deep reinforcement learning for inverter-based volt-var control in active distribution networks ［EB/OL］. ［ 2020-05-01 ］. https：//ui.adsabs.harvard.edu/abs/2020arXiv200511142L https://ui.adsabs.harvard.edu/abs/2020arXiv200511142L .

XU Y L ， ZHANG W ， LIU W X ， et al . Multi agent-based reinforcement learning for optimal reactive power dispatch ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics ， Part C （Applications and Reviews）， 2012 ， 42 （ 6 ）： 1742 - 1751 .

李琦，乔颖，张宇精 . 配电网持续无功优化的深度强化学习方法［J］. 电网技术， 2020 ， 44 （ 4 ）： 1473 - 1480 .

LI Qi ， QIAO Ying ， ZHANG Yujing . Continuous reactive power optimization of distribution network using deep reinforcement learning ［J］. Power System Technology ， 2020 ， 44 （ 4 ）： 1473 - 1480 .

ZHOU X Y ， DALLANESE E ， CHEN L J ， et al . An incentive-based online optimization framework for distribution grids ［J］. IEEE Transactions on Automatic Control ， 2018 ， 63 （ 7 ）： 2019 - 2031 .

YANG Q L ， WANG G ， SADEGHI A ， et al . Two-timescale voltage control in distribution grids using deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 11 （ 3 ）： 2313 - 2323 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 ： 529 - 533 .

GRONDMAN I ， BUSONIU L ， BABUSKA R . A survey of actor-critic reinforcement learning： standard and natural policy gradients ［J］. IEEE Transactions on Systems ， Man ， and Cybernetics ， Part C （Applications and Reviews）， 2012 ， 42 （ 6 ）： 1291 - 1307 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于态势利导的需求响应自学习优化调度方法

基于锥优化的储能系统参与配电网运行调节快速计算方法