DC Voltage Control of Back-to-back Multi-terminal VSC-HVDC System Based on Deep Reinforcement Learning

Fei DOU; Hui CAI; Zhaohui GUO; Le GE; Weiyuan WANG

doi:10.7500/AEPS20210222012

您当前的位置：

首页 >

文章列表页 >

DC Voltage Control of Back-to-back Multi-terminal VSC-HVDC System Based on Deep Reinforcement Learning

Application Research | 更新时间：2025-06-16

- DC Voltage Control of Back-to-back Multi-terminal VSC-HVDC System Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 45, Issue 19, Pages: 155-162(2021)
- 作者机构：
  
  1.国网江苏省电力有限公司发展策划部，江苏省南京市 210024
  2.国网江苏省电力有限公司经济技术研究院，江苏省南京市 210008
  3.南京工程学院电力工程学院，江苏省南京市 211167
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(51707089)
- DOI：10.7500/AEPS20210222012
  CLC：
- Received：22 February 2021，
  
  Revised：2021-06-08，
  
  Published Online：05 August 2021，
  
  Published：10 October 2021
- 稿件说明：
移动端阅览
窦飞,蔡晖,郭朝辉等.基于深度强化学习的多端背靠背柔性直流系统直流电压控制[J].电力系统自动化,2021,45(19):155-162.

DOU Fei,CAI Hui,GUO Zhaohui,et al.DC Voltage Control of Back-to-back Multi-terminal VSC-HVDC System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(19):155-162.
窦飞,蔡晖,郭朝辉等.基于深度强化学习的多端背靠背柔性直流系统直流电压控制[J].电力系统自动化,2021,45(19):155-162. DOI： 10.7500/AEPS20210222012.

DOU Fei,CAI Hui,GUO Zhaohui,et al.DC Voltage Control of Back-to-back Multi-terminal VSC-HVDC System Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2021,45(19):155-162. DOI： 10.7500/AEPS20210222012.

摘要

为了提高互联配电网多端背靠背柔性直流系统的直流电压控制精度，增强抗干扰能力，提出一种基于深度强化学习的直流电压控制方法，将深度学习神经网络与确定策略梯度融合，实现连续动作搜索，自适应调整电压控制策略。首先，建立多端背靠背柔性直流系统数学模型，分析直流电压控制的非线性和不确定性特征；然后，给出了基于深度强化学习的直流电压控制算法框架，设计了动作与状态空间、奖励函数、神经网络和学习流程；最后，通过仿真分析发现，相比传统比例-积分（PI）控制方法，所提方法具有更好的动静态性能，有效提高了直流电压的控制精度，减小了扰动下直流电压波动和功率超调，缩短了直流电压和功率的恢复稳定时间。

Abstract

To improve the accuracy of DC voltage control and anti-disturbance ability of back-to-back multi-terminal voltage source converter based high voltage direct current (VSC-HVDC) in interconnected distribution networks

a DC voltage control method based on deep reinforcement learning is proposed. The deep learning neural network is integrated with the deterministic policy gradient to realize continuous action search and adaptive adjustment of voltage control strategy. Firstly

a mathematical model of back-to-back multi-terminal VSC-HVDC system is established

and the nonlinear and uncertain characteristics of DC voltage control are analyzed. Then

the framework of DC voltage control algorithm based on deep reinforcement learning is proposed. The action and state space

the reward function

the neural network and the learning process are designed. Finally

the simulation results show that the proposed method has better dynamic and static performances than the conventional proportion-integral (PI) control method. It can significantly improve the control accuracy of DC voltage

reduce the DC voltage fluctuation and power overshoot under disturbance

and shorten the recovery time of DC voltage and power.

关键词

Keywords

references

葛乐，张伟，严锋，等 . 基于自适应模型预测控制的柔性互联配电网优化调度［J］. 电力自动化设备， 2020 ， 40 （ 6 ）： 15 - 23 .

GE Le ， ZHANG Wei ， YAN Feng ， et al . Optimal scheduling of flexible interconnected distribution network based on adaptive model predictive control ［J］. Electric Power Automation Equipment ， 2020 ， 40 （ 6 ）： 15 - 23 .

张国荣，侯立凯，彭勃，等 . 柔性多状态开关反馈线性化滑模控制［J］. 电力系统自动化， 2020 ， 44 （ 1 ）： 126 - 133 .

ZHANG Guorong ， HOU Likai ， PENG Bo ， et al . Feedback linearization sliding mode control strategy for soft open point ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 1 ）： 126 - 133 .

张学，裴玮，邓卫，等 . 电网电压不平衡情况下三相并联型PWM整流器的控制策略［J］. 电网技术， 2018 ， 42 （ 1 ）： 330 - 338 .

ZHANG Xue ， PEI Wei ， DENG Wei ， et al . Control strategy of three-phase parallel PWM rectifier under unbalanced grid voltage ［J］. Power System Technology ， 2018 ， 42 （ 1 ）： 330 - 338 .

YAO J ， LI H ， LIAO Y ， et al . An improved control strategy of limiting the DC-link voltage fluctuation for a doubly fed induction wind generator ［J］. IEEE Transactions on Power Electronics ， 2008 ， 23 （ 3 ）： 1205 - 1213 .

LI W W ， RUAN X B ， PAN D H ， et al . Full-feedforward schemes of grid voltages for a three-phase LCL-type grid-connected inverter ［J］. IEEE Transactions on Industrial Electronics ， 2013 ， 60 （ 6 ）： 2237 - 2250 .

YOU J ， VILATHGAMUWA M ， GHASEMI N . DC bus voltage stability improvement using disturbance observer feedforward control ［J］. Control Engineering Practice ， 2018 ， 75 ： 118 - 125 .

ZHANG L ， CHEN K ， LYU L ， et al . Research on the operation control strategy of a low-voltage direct current microgrid based on a disturbance observer and neural network adaptive control algorithm ［J］. Energies ， 2019 ， 12 （ 6 ）： 1162 .

沈聪，张国荣，彭勃，等 . 具备干扰抑制能力的柔性多状态开关直流电压控制策略［J］. 高电压技术， 2020 ， 46 （ 4 ）： 1198 - 1205 .

SHEN Cong ， ZHANG Guorong ， PENG Bo ， et al . DC voltage control strategy of flexible multi-state switch with disturbance rejection ［J］. High Voltage Engineering ， 2020 ， 46 （ 4 ）： 1198 - 1205 .

HAN J Q . From PID to active disturbance rejection control ［J］. IEEE Transactions on Industrial Electronics ， 2009 ， 56 （ 3 ）： 900 - 906 .

DUAN J J ， YI Z H ， SHI D ， et al . Reinforcement-learning-based optimal control of hybrid energy storage systems in hybrid AC-DC microgrids ［J］. IEEE Transactions on Industrial Informatics ， 2019 ， 15 （ 9 ）： 5355 - 5364 .

HUANG Y Z . Optimal guaranteed cost control of uncertain non-linear systems using adaptive dynamic programming with concurrent learning ［J］. IET Control Theory & Applications ， 2018 ， 12 （ 8 ）： 1025 - 1035 .

TANG Y H ， HU W H ， XIAO J ， et al . Reinforcement learning based efficiency optimization scheme for the DAB DC-DC converter with triple-phase-shift modulation ［J］. IEEE Transactions on Industrial Electronics ， 2021 ， 68 （ 8 ）： 7350 - 7361 .

WANG S D ， DRAGICEVIC T ， GAO Y ， et al . Machine learning based operating region extension of modular multilevel converters under unbalanced grid faults ［J］. IEEE Transactions on Industrial Electronics ， 2021 ， 68 （ 5 ）： 4554 - 4560 .

GHEISARNEJAD M ， FARSIZADEH H ， KHOOBAN M H . A novel nonlinear deep reinforcement learning controller for DC-DC power buck converters ［J］. IEEE Transactions on Industrial Electronics ， 2021 ， 68 （ 8 ）： 6849 - 6858 .

吴在军，谢兴峰，杨景刚，等 . 直流配电网电压控制技术综述［J］. 电力工程技术， 2021 ， 40 （ 2 ）： 59 - 67 .

WU Zaijun ， XIE Xingfeng ， YANG Jinggang ， et al . A review on voltage control strategies in DC distribution network ［J］. Electric Power Engineering Technology ， 2021 ， 40 （ 2 ）： 59 - 67 .

宋平岗，董辉，周振邦 . 适用于MMC-MTDC的自适应斜率平坦控制策略［J］. 高电压技术， 2017 ， 43 （ 10 ）： 3265 - 3272 .

SONG Pinggang ， DONG Hui ， ZHOU Zhenbang . Adaptive droop flatness control strategy for MMC-MTDC ［J］. High Voltage Engineering ， 2017 ， 43 （ 10 ）： 3265 - 3272 .

阳岳希，杨杰，贺之渊，等 . 基于MMC的背靠背柔性直流输电系统控制策略［J］. 电力系统自动化， 2017 ， 41 （ 4 ）： 120 - 124 .

YANG Yuexi ， YANG Jie ， HE Zhiyuan ， et al . Control strategy of MMC based back-to-back HVDC transmission system ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 4 ）： 120 - 124 .

霍群海，粟梦涵，吴理心，等 . 柔性多状态开关新型复合控制策略［J］. 电力系统自动化， 2018 ， 42 （ 7 ）： 166 - 170 .

HUO Qunhai ， SU Menghan ， WU Lixin ， et al . Compound control strategy for flexible multi-state switch ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 7 ）： 166 - 170 .

王之伟，陆晓，刁瑞盛，等 . 基于深度强化学习的电网自主控制与决策技术［J］. 电力工程技术， 2020 ， 39 （ 6 ）： 34 - 43 .

WANG Zhiwei ， LU Xiao ， DIAO Ruisheng ， et al . Deep-reinforcement-learning based autonomous control and decision making for power systems ［J］. Electric Power Engineering Technology ， 2020 ， 39 （ 6 ）： 34 - 43 .

MNIH V ， KAVUKCUOGLU K ， SILVER D ， et al . Human-level control through deep reinforcement learning ［J］. Nature ， 2015 ， 518 （ 7540 ）： 529 - 533 .

WU S ， LI G Q ， DENG L ， et al . L1-norm batch normalization for efficient training of deep neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2019 ， 30 （ 7 ）： 2043 - 2051 .

漆星，郑常宝，张倩 . 基于深度确信策略梯度的电动汽车异步电机参数标定方法［J］. 电工技术学报， 2020 ， 35 （ 20 ）： 4266 - 4277 .

QI Xing ， ZHENG Changbao ， ZHANG Qian . An electric vehicle induction motor parameters calibration method based on deep deterministic policy gradient ［J］. Transactions of China Electrotechnical Society ， 2020 ， 35 （ 20 ）： 4266 - 4277 .

杨挺，赵黎媛，刘亚闯，等 . 基于深度强化学习的综合能源系统动态经济调度［J］. 电力系统自动化， 2021 ， 45 （ 5 ）： 39 - 47 .

YANG Ting ， ZHAO Liyuan ， LIU Yachuang ， et al . Dynamic economic dispatch for integrated energy system based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2021 ， 45 （ 5 ）： 39 - 47 .

LILLICRAP T P ， HUNT J J ， PRITZEL A ， et al . Continuous control with deep reinforcement learning ［EB/OL］. ［ 2020-12-05 ］. https：//arxiv.org/abs/1509.02971 https://arxiv.org/abs/1509.02971 .

WAWRZYŃSKI P . Control policy with autocorrelated noise in reinforcement learning for robotics ［J］. International Journal of Machine Learning and Computing ， 2015 ， 5 （ 2 ）： 91 - 95 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 1998 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Decision-making Method for Post-disaster Distribution System Restoration Based on Expert Knowledge-embedded Reinforcement Learning

Related Author

HUANG Yu

ZHANG Xiaoxiao

YUE Dong

HU Songlin

WANG Juan

LI Zhukun

SUN Jian

LIAO Kai

Related Institution

Institute of Advanced Technology for Carbon Neutrality, Nanjing University of Posts and Telecommunications

NARI Group Corporation (State Grid Electric Power Research Institute)

School of Electrical Engineering, Southwest Jiaotong University

School of Electric Power Engineering, South China University of Technology

College of Engineering, Shantou University

⁰