Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience

YANG Xiaodong; YAN Jianfeng; LIU Jialin

doi:10.7500/AEPS20220224003

您当前的位置：

首页 >

文章列表页 >

Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience

Special Topic on Power Balance and Optimal Dispatching Technology for Power System with High Proportion of Renewable Energy | 更新时间：2025-06-16

- Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience
- Automation of Electric Power Systems Vol. 47, Issue 15, Pages: 133-141(2023)
- 作者机构：
  
  中国电力科学研究院有限公司，北京市 100192
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5100-202155455A-0-0-00)
- DOI：10.7500/AEPS20220224003
  CLC：
- Received：24 February 2022，
  
  Revised：2022-04-29，
  
  Published Online：20 June 2022，
  
  Published：10 August 2023
- 稿件说明：
移动端阅览
杨晓东,严剑峰,刘佳霖.结合深度强化学习与人工经验的电网输电断面功率调整方法[J].电力系统自动化,2023,47(15):133-141.

YANG Xiaodong,YAN Jianfeng,LIU Jialin.Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience[J].Automation of Electric Power Systems,2023,47(15):133-141.
杨晓东,严剑峰,刘佳霖.结合深度强化学习与人工经验的电网输电断面功率调整方法[J].电力系统自动化,2023,47(15):133-141. DOI： 10.7500/AEPS20220224003.

YANG Xiaodong,YAN Jianfeng,LIU Jialin.Power Adjustment Method for Transmission Section in Power Grid Combining Deep Reinforcement Learning and Artificial Experience[J].Automation of Electric Power Systems,2023,47(15):133-141. DOI： 10.7500/AEPS20220224003.

摘要

随着电力系统中新能源比例不断增加，区域间的能量传输变化愈加剧烈，研究大电网断面功率调整方法十分必要。然而，传统算法由于存在潮流不收敛问题以及依赖专家经验等局限性，无法很好地克服在调整目标变化幅度较大时收敛性不佳的困难。为此，提出一种将人工经验和深度强化学习相结合的断面功率调整方法。首先，介绍了深度强化学习的基本概念，并提出了发电机提前筛选和功率补偿机制；然后，设计了深度强化学习模型的状态、奖励函数以及神经网络的结构，并通过在模型训练过程中引入知识经验，有效缩减了智能体的动作空间。最后，利用IEEE 39节点系统和东北电网的实际算例验证了所提方法的有效性。

Abstract

With the increasing proportion of renewable energy in power systems

the energy transmission change between regions is becoming more and more violent. Therefore

it is necessary to study the power adjustment methods for transmission sections in large power grids. However

due to the limitations of the traditional algorithms

such as the problems of the non-convergence of power flow and relying on expert experiences

it cannot well overcome the difficulties of poor convergence when the adjustment target changes greatly. Therefore

a power flow adjustment method for transmission section combining artificial experiences and deep reinforcement learning is proposed. Firstly

the basic concepts of deep reinforcement learning are introduced

and the generator pre-selection and power compensation mechanism is proposed. Secondly

the reinforcement learning state

action space

reward function

and deep neural network framework are designed. The knowledge experience is introduced in the model training process

and the action space of the agents is effectively reduced. Finally

the effectiveness of the method is verified by practical cases of IEEE 39-bus system and Northeast China power grid.

关键词

Keywords

references

孙宏斌，郭庆来，潘昭光 . 能源互联网：理念、架构与前沿展望［J］. 电力系统自动化， 2015 ， 39 （ 19 ）： 1 - 8 .

SUN Hongbin ， GUO Qinglai ， PAN Zhaoguang . Energy Internet： concept， architecture and frontier outlook ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 19 ）： 1 - 8 .

孙宏斌，郭庆来，潘昭光，等 . 能源互联网：驱动力、评述与展望［J］. 电网技术， 2015 ， 39 （ 11 ）： 3005 - 3013 .

SUN Hongbin ， GUO Qinglai ， PAN Zhaoguang ， et al . Energy Internet： driving force， review and outlook ［J］. Power System Technology ， 2015 ， 39 （ 11 ）： 3005 - 3013 .

孙宏斌，潘昭光，郭庆来 . 多能流能量管理研究：挑战与展望［J］. 电力系统自动化， 2016 ， 40 （ 15 ）： 1 - 8 .

SUN Hongbin ， PAN Zhaoguang ， GUO Qinglai . Energy management for multi-energy flow： challenges and prospects ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 15 ）： 1 - 8 .

郭庆来，王博弘，田年丰，等 . 能源互联网数据交易：架构与关键技术［J］. 电工技术学报， 2020 ， 35 （ 11 ）： 2285 - 2295 .

GUO Qinglai ， WANG Bohong ， TIAN Nianfeng ， et al . Data transactions in energy Internet： architecture and key technologies ［J］. Transactions of China Electrotechnical Society ， 2020 ， 35 （ 11 ）： 2285 - 2295 .

杨天宇，郭庆来，盛裕杰，等 . 系统互联视角下的城域电力-交通融合网络协同［J］. 电力系统自动化， 2020 ， 44 （ 11 ）： 1 - 9 .

YANG Tianyu ， GUO Qinglai ， SHENG Yujie ， et al . Coordination of urban integrated electric power and traffic network from perspective of system interconnection ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 11 ）： 1 - 9 .

温涛 . 一种快速电力系统断面灵敏度的计算方法［J］. 电工技术， 2021 （ 6 ）： 120 - 122 .

WEN Tao . A method for calculating section sensitivity of fast power system ［J］. Electric Engineering ， 2021 （ 6 ）： 120 - 122 .

徐岩，郅静 . 基于功率灵敏度的线路过载划区域紧急控制策略［J］. 电工技术学报， 2015 ， 30 （ 15 ）： 60 - 72 .

XU Yan ， ZHI Jing . A zone-divided emergency control strategy for overload lines based on power sensitivity ［J］. Transactions of China Electrotechnical Society ， 2015 ， 30 （ 15 ）： 60 - 72 .

徐正清，肖艳炜，李群山，等 . 基于灵敏度及粒子群算法的输电断面功率越限控制方法对比研究［J］. 电力系统保护与控制， 2020 ， 48 （ 15 ）： 177 - 186 .

XU Zhengqing ， XIAO Yanwei ， LI Qunshan ， et al . Comparative study based on sensitivity and particle swarm optimization algorithm for power flow over-limit control method of transmission section ［J］. Power System Protection and Control ， 2020 ， 48 （ 15 ）： 177 - 186 .

陆胜男，张新松，徐杨杨，等 . 基于边际发电成本的联络线交换功率两阶段迭代优化方法［J］. 电力系统保护与控制， 2021 ， 49 （ 10 ）： 77 - 88 .

LU Shengnan ， ZHANG Xinsong ， XU Yangyang ， et al . Two-stage iterative method to optimize tie-line exchange power based on marginal power generation cost ［J］. Power System Protection and Control ， 2021 ， 49 （ 10 ）： 77 - 88 .

孙淑琴，颜文丽，吴晨悦，等 . 基于原-对偶内点法的输电断面有功安全校正控制方法［J］. 电力系统保护与控制， 2021 ， 49 （ 7 ）： 75 - 85 .

SUN Shuqin ， YAN Wenli ， WU Chenyue ， et al . Active power flow safety correction control method of transmission sections based on a primal-dual interior point method ［J］. Power System Protection and Control ， 2021 ， 49 （ 7 ）： 75 - 85 .

刘阳，夏添，汪旸 . 区域电网内多输电断面有功协同控制策略在线生成方法［J］. 电力自动化设备， 2020 ， 40 （ 7 ）： 204 - 210 .

LIU Yang ， XIA Tian ， WANG Yang . On-line generation method of active power coordinated control strategy for multiple transmission sections in regional power grid ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 7 ）： 204 - 210 .

罗永建，李晓明，黄彦浩，等 . 基于准稳态灵敏度和校正成本最小化的过载线路实时校正方法［J］. 电力系统保护与控制， 2020 ， 48 （ 23 ）： 1 - 10 .

LUO Yongjian ， LI Xiaoming ， HUANG Yanhao ， et al . Real-time correction method for overloaded lines based on quasi-steady-state sensitivity and correction cost minimization ［J］. Power System Protection and Control ， 2020 ， 48 （ 23 ）： 1 - 10 .

王艳松，卢志强，李强，等 . 基于源-荷协同的电网静态安全校正最优控制算法［J］. 电力系统保护与控制， 2019 ， 47 （ 20 ）： 73 - 80 .

WANG Yansong ， LU Zhiqiang ， LI Qiang ， et al . Optimal control algorithm for static safety correction of power grid based on source-load coordination ［J］. Power System Protection and Control ， 2019 ， 47 （ 20 ）： 73 - 80 .

黄天恩，孙宏斌，郭庆来，等 . 基于电网运行大数据的在线分布式安全特征选择［J］. 电力系统自动化， 2016 ， 40 （ 4 ）： 32 - 40 .

HUANG Tianen ， SUN Hongbin ， GUO Qinglai ， et al . Online distributed security feature selection based on big data in power system operation ［J］. Automation of Electric Power Systems ， 2016 ， 40 （ 4 ）： 32 - 40 .

HUANG T E ， GUO Q L ， SUN H B ， et al . Crucial power flow interface discrimination based on distributed improved-SVM classification in a big data set ［C］// 2016 IEEE Power and Energy Society General Meeting ， July 17-21 ， 2016 ， Boston， USA ： 1 - 5 .

HUANG T E ， GUO Q L ， SUN H B ， et al . A deep learning approach for power system knowledge discovery based on multitask learning ［J］. IET Generation ， Transmission & Distribution， 2019 ， 13 （ 5 ）： 733 - 740 .

孙宏斌，黄天恩，郭庆来，等 . 面向调度决策的智能机器调度员研制与应用［J］. 电网技术， 2020 ， 44 （ 1 ）： 1 - 8 .

SUN Hongbin ， HUANG Tianen ， GUO Qinglai ， et al . Automatic operator for decision-making in dispatch： research and applications ［J］. Power System Technology ， 2020 ， 44 （ 1 ）： 1 - 8 .

HUANG T E ， GUO Q L ， SUN H B . A distributed computing platform supporting power system security knowledge discovery based on online simulation ［J］. IEEE Transactions on Smart Grid ， 2017 ， 8 （ 3 ）： 1513 - 1524 .

赵峰，孙宏斌，黄天恩，等 . 电网关键断面及安全运行规则自动发现系统设计与工程实现［J］. 电力系统自动化， 2015 ， 39 （ 1 ）： 117 - 123 .

ZHAO Feng ， SUN Hongbin ， HUANG Tianen ， et al . Design and engineering application of automatic discovery system for critical flowgates and security operation rules in power grids ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 1 ）： 117 - 123 .

黄天恩，郭庆来，孙宏斌，等 . 模型-数据混合驱动的电网安全特征选择和知识发现关键技术与工程应用［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 95 - 101 .

HUANG Tianen ， GUO Qinglai ， SUN Hongbin ， et al . Hybrid model and data driven concepts for power system security feature selection and knowledge discovery： key technologies and engineering application ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 95 - 101 .

黄天恩，孙宏斌，郭庆来，等 . 基于电网运行仿真大数据的知识管理和超前安全预警［J］. 电网技术， 2015 ， 39 （ 11 ）： 3080 - 3087 .

HUANG Tianen ， SUN Hongbin ， GUO Qinglai ， et al . Knowledge management and security early warning based on big simulation data in power grid operation ［J］. Power System Technology ， 2015 ， 39 （ 11 ）： 3080 - 3087 .

ZHANG D X ， HAN X Q ， DENG C Y . Review on the research and practice of deep learning and reinforcement learning in smart grids ［J］. CSEE Journal of Power and Energy Systems ， 2018 ， 4 （ 3 ）： 362 - 370 .

席磊，余璐，付一木，等 . 基于探索感知思维深度强化学习的自动发电控制［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4150 - 4162 .

XI Lei ， YU Lu ， FU Yimu ， et al . Automatic generation control based on deep reinforcement learning with exploration awareness ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4150 - 4162 .

WEN Z ， O’NEILL D ， MAEI H . Optimal demand response using device-based reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2015 ， 6 （ 5 ）： 2312 - 2324 .

张自东，邱才明，张东霞，等 . 基于深度强化学习的微电网复合储能协调控制方法［J］. 电网技术， 2019 ， 43 （ 6 ）： 1914 - 1921 .

ZHANG Zidong ， QIU Caiming ， ZHANG Dongxia ， et al . A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1914 - 1921 .

SILVER D ， HUANG A ， MADDISON C J ， et al . Mastering the game of Go with deep neural networks and tree search ［J］. Nature ， 2016 ， 529 （ 7587 ）： 484 - 489 .

SILVER D ， SCHRITTWIESER J ， SIMONYAN K ， et al . Mastering the game of Go without human knowledge ［J］. Nature ， 2017 ， 550 （ 7676 ）： 354 - 359 .

刘建伟，高峰，罗雄麟 . 基于值函数和策略梯度的深度强化学习综述［J］. 计算机学报， 2019 ， 42 （ 6 ）： 1406 - 1438 .

LIU Jianwei ， GAO Feng ， LUO Xionglin . Survey of deep reinforcement learning based on value function and policy gradient ［J］. Chinese Journal of Computers ， 2019 ， 42 （ 6 ）： 1406 - 1438 .

王甜婧，汤涌，郭强，等 . 基于知识经验和深度强化学习的大电网潮流计算收敛自动调整方法［J］. 中国电机工程学报， 2020 ， 40 （ 8 ）： 2396 - 2406 .

WANG Tianjing ， TANG Yong ， GUO Qiang ， et al . Automatic adjustment method of power flow calculation convergence for large-scale power grid based on knowledge experience and deep reinforcement learning ［J］. Proceedings of the CSEE ， 2020 ， 40 （ 8 ）： 2396 - 2406 .

WU S ， HU W ， LU Z X ， et al . Power system flow adjustment and sample generation based on deep reinforcement learning ［J］. Journal of Modern Power Systems and Clean Energy ， 2020 ， 8 （ 6 ）： 1115 - 1127 .

SCHULMAN J ， WOLSKI F ， DHARIWAL P ， et al . Proximal policy optimization algorithms ［EB/OL］. ［ 2021-12-20 ］. https：//www.researchgate.net/publication/318584439_Proximal_Policy_Optimization_Algorithms https://www.researchgate.net/publication/318584439_Proximal_Policy_Optimization_Algorithms .

FETTES Q ， CLARK M ， BUNESCU R ， et al . Dynamic voltage and frequency scaling in NoCs with supervised and reinforcement learning techniques ［J］. IEEE Transactions on Computers ， 2019 ， 68 （ 3 ）： 375 - 389 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Deep Reinforcement Learning Method for Frequency Regulation of Wind-Solar-Hydro-Thermal-Storage Systems Based on Virtual Synchronous Generator

Resilience Improvement Method for Post-disaster Distribution Network Based on Proximal Policy Optimization Algorithm

Related Author

Xiaodong YANG

Jianfeng YAN

Jialin LIU

LIU Xiaoming

LIU Jun

YAO Hongwei

ZHAO Yu

NIE Yongxin

Related Institution

Shaanxi Key Laboratory of Smart Grid (Xi’an Jiaotong University)

Shaanxi Key Laboratory of Smart Grid (Xi'an Jiaotong University)

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education(Shanghai Jiao Tong University)

Electric Power Research Institute of State Grid Zhejiang Electric Power Co., Ltd.

Electricity Market Simulation Laboratory of State Grid Zhejiang Electric Power Co., Ltd.

⁰