Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid

LIU Jinbo; SONG Xuri; YANG Nan; WAN Xiong; CAI Yu; HUANG Yupeng

doi:10.7500/AEPS20221010006

您当前的位置：

首页 >

文章列表页 >

Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid

Engineering Application | 更新时间：2025-06-16

- Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid
- Automation of Electric Power Systems Vol. 47, Issue 14, Pages: 157-166(2023)
- 作者机构：
  
  1.国家电网有限公司国家电力调度控制中心，北京市 100031
  2.清华大学电机工程与应用电子技术系，北京市 100084
  3.电力调度自动化技术研究与系统评价北京市重点实验室（中国电力科学研究院有限公司），北京市 100192
- 作者简介：
- 基金信息：
  
  State Grid Corporation of China(5108-202255045A)
- DOI：10.7500/AEPS20221010006
  CLC：
- Received：10 October 2022，
  
  Revised：2023-04-03，
  
  Published Online：16 June 2023，
  
  Published：25 July 2023
- 稿件说明：
移动端阅览
刘金波,宋旭日,杨楠等.深度强化学习在电网实时计划编排中的应用[J].电力系统自动化,2023,47(14):157-166.

LIU Jinbo,SONG Xuri,YANG Nan,et al.Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid[J].Automation of Electric Power Systems,2023,47(14):157-166.
刘金波,宋旭日,杨楠等.深度强化学习在电网实时计划编排中的应用[J].电力系统自动化,2023,47(14):157-166. DOI： 10.7500/AEPS20221010006.

LIU Jinbo,SONG Xuri,YANG Nan,et al.Application of Deep Reinforcement Learning in Real-time Plan Scheduling of Power Grid[J].Automation of Electric Power Systems,2023,47(14):157-166. DOI： 10.7500/AEPS20221010006.

摘要

面对新型电力系统的强不确定性、快速增长的控制规模、低碳化运行目标等变化，实时计划编排将会呈现高维、非线性、非凸的复杂特征，以强化学习为代表的数据驱动算法为探索实时计划快速优化编排带来了新思路。文中将深度强化学习引入实时计划编排模型中，构建面向强化学习的实时计划编排仿真环境；提出了双层多目标多智能体深度强化学习实时计划编排方法，该方法基于模型-数据混合驱动强化学习思想，采用双层架构以及多智能体设计，实现实时计划并行快速编排。最后，通过算例验证了所提方法的有效性和可行性。

Abstract

In the face of the strong uncertainty of the new power system

the rapid growth of the control scale

the low-carbon operation target

and other changes

the real-time plan scheduling will present high-dimensional

nonlinear

and non-convex and complex characteristics. The data-driven algorithm represented by reinforcement learning brings new ideas to explore the fast optimization of real-time plan scheduling. In this paper

deep reinforcement learning is introduced into the real-time plan scheduling model

and a real-time plan scheduling simulation environment for reinforcement learning is constructed. Then

a real-time plan scheduling method based on double-layer multi-objective multi-agent deep reinforcement learning is proposed. Based on the idea of hybrid model-data-driven reinforcement learning

this method adopts double-layer architecture and multi-agent design to achieve the parallel and rapid scheduling of real-time plans. Finally

the effectiveness and feasibility of the proposed method are verified through an example.

关键词

Keywords

references

邓勇，朱泽磊，黄文英，等 . 日内及实时发电计划的递进协调方法［J］. 电力系统自动化， 2015 ， 39 （ 1 ）： 141 - 146 .

DENG Yong ， ZHU Zelei ， HUANG Wenying ， et al . Hierarchical coordinated method for intraday and real-time generation scheduling ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 1 ）： 141 - 146 .

许丹，梁访，黄国栋，等 . 考虑多级调度的跨省区大电网安全约束经济调度模型［J］. 电力系统自动化， 2019 ， 43 （ 22 ）： 94 - 100 .

XU Dan ， LIANG Fang ， HUANG Guodong ， et al . Security constrained economic dispatch model of inter-provincial power grid considering multi-level dispatch ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 22 ）： 94 - 100 .

陈之栩，李丹，梁吉，等 . 华北电网日内发电计划及实时调度系统［J］. 电力系统自动化， 2011 ， 35 （ 19 ）： 54 - 57 .

CHEN Zhixu ， LI Dan ， LIANG Ji ， et al . Intraday generation plan and real-time dispatch system of North China grid ［J］. Automation of Electric Power Systems ， 2011 ， 35 （ 19 ）： 54 - 57 .

徐帆，陈之栩，张勇，等 . 实时发电计划模型及其应用［J］. 电力系统自动化， 2014 ， 38 （ 6 ）： 117 - 122 .

XU Fan ， CHEN Zhixu ， ZHANG Yong ， et al . Real-time generation scheduling model and its application ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 6 ）： 117 - 122 .

刘立阳，吴军基，孟绍良 . 基于预测控制的含风电滚动优化调度［J］. 电工技术学报， 2017 ， 32 （ 17 ）： 75 - 83 .

LIU Liyang ， WU Junji ， MENG Shaoliang . A rolling dispatch model for wind power integrated power system based on predictive control ［J］. Transactions of China Electrotechnical Society ， 2017 ， 32 （ 17 ）： 75 - 83 .

李明节，陶洪铸，许洪强，等 . 电网调控领域人工智能技术框架与应用展望［J］. 电网技术， 2020 ， 44 （ 2 ）： 393 - 400 .

LI Mingjie ， TAO Hongzhu ， XU Hongqiang ， et al . The technical framework and application prospect of artificial intelligence application in the field of power grid dispatching and control ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 393 - 400 .

杨晓东，严剑峰，刘佳霖 . 结合深度强化学习与人工经验的电网断面功率调整方法［J/OL］. 电力系统自动化［ 2022-05-23 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20220520.1750.004.html http://kns.cnki.net/kcms/detail/32.1180.TP.20220520.1750.004.html .

YANG Xiaodong ， YAN Jianfeng ， LIU Jialin . Power adjustment method for transmission section in power grid combining deep reinforcement learning and artificial experience ［J/OL］. Power System Technology ［ 2022-05-23 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20220520.1750.004.html http://kns.cnki.net/kcms/detail/32.1180.TP.20220520.1750.004.html .

范士雄，李立新，王松岩，等 . 人工智能技术在电网调控中的应用研究［J］. 电网技术， 2020 ， 44 （ 2 ）： 401 - 411 .

FAN Shixiong ， LI Lixin ， WANG Songyan ， et al . Application analysis and exploration of artificial intelligence technology in power grid dispatch and control ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 401 - 411 .

赵晋泉，夏雪，徐春雷，等 . 新一代人工智能技术在电力系统调度运行中的应用评述［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 1 - 10 .

ZHAO Jinquan ， XIA Xue ， XU Chunlei ， et al . Review on application of new generation artificial intelligence technology in power system dispatching and operation ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 1 - 10 .

乔骥，郭剑波，范士雄，等 . 人在回路的电网调控混合增强智能初探：基本概念与研究框架［J］. 中国电机工程学报， 2023 ， 43 （ 1 ）： 1 - 14 .

QIAO Ji ， GUO Jianbo ， FAN Shixiong ， et al . Human-in-the-loop hybrid-augmented intelligence method for power system dispatching： basic concept and research framework ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 1 ）： 1 - 14 .

姚建国，余涛，杨胜春，等 . 提升电网调度中人工智能可用性的混合增强智能知识演化技术［J］. 电力系统自动化， 2022 ， 46 （ 20 ）： 1 - 12 .

YAO Jianguo ， YU Tao ， YANG Shengchun ， et al . Knowledge evolution technology based on hybrid-augmented intelligence for improving practicability of artificial intelligence in power grid dispatch ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 20 ）： 1 - 12 .

颜伟，汪敏，龙漪澜，等 . 小时级月度发购电计划的优化模型及其混合智能求解策略［J］. 电网技术， 2017 ， 41 （ 9 ）： 2823 - 2830 .

YAN Wei ， WANG Min ， LONG Yilan ， et al . Optimization model of hour-level monthly generation and purchase scheduling and its hybrid intelligent solution strategy ［J］. Power System Technology ， 2017 ， 41 （ 9 ）： 2823 - 2830 .

彭茜，王爱娟，李峻阳，等 . 基于高效遗传算法的电网需求侧调度优化研究及其收敛性分析［J］. 电力系统保护与控制， 2022 ， 50 （ 6 ）： 33 - 42 .

PENG Qian ， WANG Aijuan ， LI Junyang ， et al . Optimization of the demand side dispatching of a power grid based on an efficient genetic algorithm and its convergence analysis ［J］. Power System Protection and Control ， 2022 ， 50 （ 6 ）： 33 - 42 .

ZHOU Y H ， ZHANG B ， XU C L ， et al . A data-driven method for fast AC optimal power flow solutions via deep reinforcement learning ［J］. Journal of Modern Power Systems and Clean Energy ， 2020 ， 8 （ 6 ）： 1128 - 1139 .

朱介北，徐思旸，李炳森，等 . 基于电网专家策略模仿学习的新型电力系统实时调度［J］. 电网技术， 2023 ， 47 （ 2 ）： 517 - 528 .

ZHU Jiebei ， XU Siyang ， LI Bingsen ， et al . Real-time security dispatch of modern power system based on grid expert strategy imitation learning ［J］. Power System Technology ， 2023 ， 47 （ 2 ）： 517 - 528 .

王申，李文臣，贾培浩，等 . 一种基于深度强化学习的电网潮流分析方法［J］. 电子设计工程， 2022 ， 30 （ 16 ）： 46 - 50 .

WANG Shen ， LI Wenchen ， JIA Peihao ， et al . A power flow analysis method based on deep reinforcement learning ［J］. Electronic Design Engineering ， 2022 ， 30 （ 16 ）： 46 - 50 .

陈果，王秀丽，原晟淇，等 . 适用于大规模充电场站的深度强化学习有序充电策略［J］. 电力系统自动化， 2023 ， 47 （ 2 ）： 88 - 95 .

CHEN Guo ， WANG Xiuli ， YUAN Shengqi ， et al . Coordinated charging strategy applicable to large-scale charging stations based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 2 ）： 88 - 95 .

王一迪，李立新，於益军，等 . 基于深度强化学习的电力系统安全校正控制［J/OL］. 电力系统自动化： 1 - 9 ［ 2022-12-08 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20221207.1126.003.html http://kns.cnki.net/kcms/detail/32.1180.TP.20221207.1126.003.html .

WANG Yidi ， LI Lixin ， YU Yijun ， Power system security correction control based on deep reinforcement ［J/OL］. Automation of Electric Power Systems ： 1 - 9 ［ 2022-12-08 ］. http：//kns.cnki.net/kcms/detail/32.1180.TP.20221207.1126.003.html http://kns.cnki.net/kcms/detail/32.1180.TP.20221207.1126.003.html .

LI Xinhang ， YANG Nan ， LI Zihao ， et al . Confidence estimation transformer for long-term renewable energy forecasting in reinforcement learning-based power grid dispatching ［J/OL］ CSEE Journal of Power and Energy Systems ： 1 - 2 ［ 2022-02-05 ］. https：//ieeexplore.ieee.org/document/9979735/ https://ieeexplore.ieee.org/document/9979735/ .

YANG Y ， YANG Z F ， YU J ， et al . Fast economic dispatch in smart grids using deep learning： an active constraint screening approach ［J］. IEEE Internet of Things Journal ， 2020 ， 7 （ 11 ）： 11030 - 11040 .

ZHANG Z D ， ZHANG D X ， QIU R C . Deep reinforcement learning for power system applications： an overview ［J］. CSEE Journal of Power and Energy Systems ， 2019 ， 6 （ 1 ）： 213 - 225 .

HAARNOJA T ， ZHOU A ， HARTIKAINEN K ， et al . Soft actor-critic algorithms and applications ［EB/OL］. ［ 2022-09-10 ］. https：//arxiv.org/abs/1812.05905 https://arxiv.org/abs/1812.05905 .

WEI H ， SASAKI H ， KUBOKAWA J ， et al . An interior point nonlinear programming for optimal power flow problems with a novel data structure ［J］. IEEE Transactions on Power Systems ， 1998 ， 13 （ 3 ）： 870 - 877 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Application of Deep Reinforcement Learning in Optimal Operation of Distribution Network

Voltage Regulation Strategy for Active Distribution Network Based on Multi-agent Deep Reinforcement Learning

Related Author

HU Weihao

CAO Di

HUANG Qi

ZHANG Bin

LI Sichen

CHEN Zhe

HUANG Yu

ZHANG Xiaoxiao

Related Institution

School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China

School of Information Engineering, Southwest University of Science and Technology

Department of Energy Technology, Aalborg University, Aalborg

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Technology Co., Ltd.

⁰