Power System Security Correction Control Based on Deep Reinforcement Learning

WANG Yidi; LI Lixin; YU Yijun; YANG Nan; LIU Meng; LI Tong

doi:10.7500/AEPS20220706006

您当前的位置：

首页 >

文章列表页 >

Power System Security Correction Control Based on Deep Reinforcement Learning

Application Research | 更新时间：2023-06-19

- Power System Security Correction Control Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 47, Issue 12, Pages: 121-129(2023)
- 作者机构：
  
  1.中国电力科学研究院有限公司,北京市 100192
  2.国网冀北电力有限公司,北京市 100053
  3.国网辽宁省电力有限公司,辽宁省沈阳市 110006
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5108-202155037A-0-0-00)
- DOI：10.7500/AEPS20220706006
  CLC：
- Received：06 July 2022，
  
  Revised：2022-11-04，
  
  Published Online：07 January 2023，
  
  Published：25 June 2023
- 稿件说明：
移动端阅览
王一迪,李立新,於益军等.基于深度强化学习的电力系统安全校正控制[J].电力系统自动化,2023,47(12):121-129.

WANG Yidi,LI Lixin,YU Yijun,et al.Power System Security Correction Control Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(12):121-129.
王一迪,李立新,於益军等.基于深度强化学习的电力系统安全校正控制[J].电力系统自动化,2023,47(12):121-129. DOI： 10.7500/AEPS20220706006.

WANG Yidi,LI Lixin,YU Yijun,et al.Power System Security Correction Control Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2023,47(12):121-129. DOI： 10.7500/AEPS20220706006.

摘要

新型电力系统中，源荷双侧的不确定性使得电网潮流波动大幅增加。电力系统安全校正控制能够消除系统潮流越限，保证电网安全运行。然而，传统安全校正控制方法约束众多、计算复杂，且面对大规模电网时难以进行实时多步决策。因此，提出一种基于深度确定性策略梯度(DDPG)的两阶段训练方法来确定安全校正控制策略。首先，将安全校正控制问题与深度强化学习联系起来，通过设计强化学习的状态、动作和奖励函数，构建了安全校正的马尔可夫决策过程模型。然后，提出了两阶段训练框架来求得最优校正策略。在模仿学习预训练阶段，基于专家策略，利用模仿学习为智能体提供初始神经网络，提高训练速度；在强化学习训练阶段，通过DDPG智能体与环境的不断交互进一步训练智能体。训练好的智能体可以实时应用，获得最优决策。最后，基于中国某省级电网的仿真算例验证了所提方法的有效性。

Abstract

In the new power system

the uncertainty of both sides of the source and load makes the power flow fluctuation increase significantly. The power system security correction control can eliminate the system power flow over-limit and ensure the safe operation of the power grid. However

the traditional security correction control methods have many constraints and complex calculation

and it is difficult to make real-time multi-step decisions for large-scale power grids. Therefore

this paper proposes a two-stage training method based on deep deterministic policy gradient (DDPG) to determine the security correction control strategy. Firstly

combining the security correction control problem with deep reinforcement learning

the Markov decision process (MDP) model of the security correction is constructed by designing the state

action and reward function of reinforcement learning. Secondly

a two-stage training framework is proposed to obtain the optimal correction strategy. In the pre-training stage of the imitation learning

based on the expert strategy

the imitation learning is used to provide the initial neural network for agents and improve the training speed. In the training stage of the reinforcement learning

the agent is further trained through the continuous interaction between DDPG agent and the environment. The trained agent can be applied in real time to obtain the optimal decision. Finally

the effectiveness of the proposed method is verified by a simulation case based on a provincial power grid of China.

关键词

Keywords

references

邹品晶 . 中长期发电计划及大用户直供交易量化安全校核研究［D］. 长沙：湖南大学， 2017 .

ZOU Pinjing . Research on security verification of the medium long-term generation schedule and the quantization of direct-purchasing for large consumers ［D］. Changsha ： Hunan University ， 2017 .

张尚，顾雪平，王涛 . 基于分布鲁棒优化的含风电系统静态安全校正控制方法［J］. 电力自动化设备， 2019 ， 39 （ 2 ）： 58 - 64 .

ZHANG Shang ， GU Xueping ， WANG Tao . Static security corrective control method of wind power-integrated system based on distributional robust optimization ［J］. Electric Power Automation Equipment ， 2019 ， 39 （ 2 ）： 58 - 64 .

江东林，徐向东，刘天琪，等 . 考虑校正控制的含风电场安全约束优化潮流［J］. 电网技术， 2013 ， 37 （ 1 ）： 172 - 177 .

JIANG Donglin ， XU Xiangdong ， LIU Tianqi ， et al . Security-constrained optimal power flow of power grid connected with wind farms considering corrective control ［J］. Power System Technology ， 2013 ， 37 （ 1 ）： 172 - 177 .

钟贵和，王星华，甘德树，等 . 输电断面的有功安全预防-校正负荷调整算法［J］. 电力系统保护与控制， 2014 ， 42 （ 16 ）： 15 - 20 .

ZHONG Guihe ， WANG Xinghua ， GAN Deshu ， et al . Load adjusted algorithm on active power prevention-correction of transmission section ［J］. Power System Protection and Control ， 2014 ， 42 （ 16 ）： 15 - 20 .

邓佑满，张伯明，相年德，等 . 联络线族的有功安全校正控制［J］. 电力系统自动化， 1994 ， 18 （ 6 ）： 47 - 51 .

DENG Youman ， ZHANG Boming ， XIANG Niande ， et al . Security corrective strategy for the alleviation of active power violations on tie-line-clusters ［J］. Automation of Electric Power Systems ， 1994 ， 18 （ 6 ）： 47 - 51 .

王艳松，卢志强，李强，等 . 基于源-荷协同的电网静态安全校正最优控制算法［J］. 电力系统保护与控制， 2019 ， 47 （ 20 ）： 73 - 80 .

WANG Yansong ， LU Zhiqiang ， LI Qiang ， et al . Optimal control algorithm for static safety correction of power grid based on source-load coordination ［J］. Power System Protection and Control ， 2019 ， 47 （ 20 ）： 73 - 80 .

魏敏，叶剑 . 遗传算法在电力市场下有功安全校正中的应用［J］. 华中电力， 2003 ， 16 （ 4 ）： 1 - 5 .

WEI Min ， YE Jian . Application of genetic algorithm in active power security correction in an electricity market ［J］. Central China Electric Power ， 2003 ， 16 （ 4 ）： 1 - 5 .

王鹏翔 . 基于机器自学习的电网安全校正算法研究［D］. 北京：华北电力大学， 2011 .

WANG Pengxiang . The study of active power security correction algorithm based on machine self-learning methods ［D］. Beijing ： North China Electric Power University ， 2011 .

徐正清，肖艳炜，李群山，等 . 基于灵敏度及粒子群算法的输电断面功率越限控制方法对比研究［J］. 电力系统保护与控制， 2020 ， 48 （ 15 ）： 177 - 186 .

XU Zhengqing ， XIAO Yanwei ， LI Qunshan ， et al . Comparative study based on sensitivity and particle swarm optimization algorithm for power flow over-limit control method of transmission section ［J］. Power System Protection and Control ， 2020 ， 48 （ 15 ）： 177 - 186 .

孙国强，张恪，卫志农，等 . 基于深度学习的含统一潮流控制器的电力系统快速安全校正［J］. 电力系统自动化， 2020 ， 44 （ 19 ）： 119 - 127 .

SUN Guoqiang ， ZHANG Ke ， WEI Zhinong ， et al . Deep learning based fast security correction of power system with unified power flow controller ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 19 ）： 119 - 127 .

赵冬梅，陶然，马泰屹，等 . 基于多智能体深度确定策略梯度算法的有功-无功协调调度模型［J］. 电工技术学报， 2021 ， 36 （ 9 ）： 1914 - 1925 .

ZHAO Dongmei ， TAO Ran ， MA Taiyi ， et al . Active and reactive power coordinated dispatching based on multi-agent deep deterministic policy gradient algorithm ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 9 ）： 1914 - 1925 .

乔骥，王新迎，张擎，等 . 基于柔性行动器-评判器深度强化学习的电-气综合能源系统优化调度［J］. 中国电机工程学报， 2021 ， 41 （ 3 ）： 819 - 833 .

QIAO Ji ， WANG Xinying ， ZHANG Qing ， et al . Optimal dispatch of integrated electricity-gas system with soft actor-critic deep reinforcement learning ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 3 ）： 819 - 833 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

ZHANG B ， LU X ， DIAO R S ， et al . Real-time autonomous line flow control using proximal policy optimization ［C］// IEEE Power & Energy Society General Meeting ， August 2-6 ， 2020 ， Montreal， Canada .

SUN X Z ， QIU J . A customized voltage control strategy for electric vehicles in distribution networks with reinforcement learning method ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 10 ）： 6852 - 6863 .

孙立钧，顾雪平，刘彤，等 . 一种基于深度强化学习算法的电网有功安全校正方法［J］. 电力系统保护与控制， 2022 ， 50 （ 10 ）： 114 - 122 .

SUN Lijun ， GU Xueping ， LIU Tong ， et al . A deep reinforcement learning algorithm-based active safety correction method for power grids ［J］. Power System Protection and Control ， 2022 ， 50 （ 10 ）： 114 - 122 .

XU H T ， YU Z H ， ZHENG Q P ， et al . Deep reinforcement learning-based Tie-line power adjustment method for power system operation state calculation ［J］. IEEE Access ， 2019 ， 7 ： 156160 - 156174 .

李柏堉，赵津蔓，韩肖清，等 . 基于双智能体深度强化学习的电力系统静态安全预防控制方法［J/OL］. 中国电机工程学报［ 2022-06-16 ］. DOI： 10.13334/j.0258-8013.pcsee.211434． http://dx.doi.org/10.13334/j.0258-8013.pcsee.211434．

LI Baiyu ， ZHAO Jinman ， HAN Xiaoqing ， et al . Static security oriented preventive control of power system based on double deep reinforcement learning ［J］. Proceedings of the CSEE ［ 2022-06-16 ］. DOI： 10.13334/j.0258-8013.pcsee.211434． http://dx.doi.org/10.13334/j.0258-8013.pcsee.211434．

ZHANG Y C ， QIU F ， HONG T Q ， et al . Hybrid imitation learning for real-time service restoration in resilient distribution systems ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 3 ）： 2089 - 2099 .

DU Y ， WU D . Deep reinforcement learning from demonstrations to assist service restoration in islanded microgrids ［J］. IEEE Transactions on Sustainable Energy ， 2022 ， 13 （ 2 ）： 1062 - 1072 .

宋晓琳，盛鑫，曹昊天，等 . 基于模仿学习和强化学习的智能车辆换道行为决策［J］. 汽车工程， 2021 ， 43 （ 1 ）： 59 - 67 .

SONG Xiaolin ， SHENG Xin ， CAO Haotian ， et al . Lane-change behavior decision-making of intelligent vehicle based on imitation learning and reinforcement learning ［J］. Automotive Engineering ， 2021 ， 43 （ 1 ）： 59 - 67 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 1998 .

周志华 . 机器学习［J］. 中国民商， 2016 ， 3 （ 21 ）： 93 ．

ZHOU Zhihua . Machine learning ［J］. China Non-Governmental ， 2016 ， 3 （ 21 ）： 93 ．

程临燕，郝治国，张保会，等 . 基于内点法消除输电断面过载的实时控制算法［J］. 电力系统自动化， 2011 ， 35 （ 17 ）： 51 - 55 .

CHENG Linyan ， HAO Zhiguo ， ZHANG Baohui ， et al . Fast elimination of overload in transmission line section based on simplified primal-dual interior point method ［J］. Automation of Electric Power Systems ， 2011 ， 35 （ 17 ）： 51 - 55 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Related Author

LIU Xiaoming

LIU Jun

YAO Hongwei

ZHAO Yu

NIE Yongxin

REN Kezheng

LIU Xiaoming

LIU Jun

Related Institution

Shaanxi Key Laboratory of Smart Grid (Xi’an Jiaotong University)

Shaanxi Key Laboratory of Smart Grid (Xi'an Jiaotong University)

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

NARI Group Corporation (State Grid Electric Power Research Institute)

⁰