Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning

Hang LI; Guojie LI; Keyou WANG

doi:10.7500/AEPS20200331009

您当前的位置：

首页 >

文章列表页 >

Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning

Application Research | 更新时间：2025-06-16

- Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 44, Issue 22, Pages: 161-167(2020)
- 作者机构：
  
  电力传输与功率变换控制教育部重点实验室（上海交通大学），上海市 200240
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China
- DOI：10.7500/AEPS20200331009
  CLC：
- Received：31 March 2020，
  
  Revised：2020-06-28，
  
  Published Online：13 August 2020，
  
  Published：25 November 2020
- 稿件说明：
移动端阅览
李航,李国杰,汪可友.基于深度强化学习的电动汽车实时调度策略[J].电力系统自动化,2020,44(22):161-167.

LI Hang,LI Guojie,WANG Keyou.Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2020,44(22):161-167.
李航,李国杰,汪可友.基于深度强化学习的电动汽车实时调度策略[J].电力系统自动化,2020,44(22):161-167. DOI： 10.7500/AEPS20200331009.

LI Hang,LI Guojie,WANG Keyou.Real-time Dispatch Strategy for Electric Vehicles Based on Deep Reinforcement Learning[J].Automation of Electric Power Systems,2020,44(22):161-167. DOI： 10.7500/AEPS20200331009.

摘要

电动汽车(EV)作为一种分布式储能装置，对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性，利用不基于模型的深度强化学习方法，建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求，采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后，针对日内每一时刻系统运行的实时状态量，生成该时刻充放电调度策略。最后以某微电网为例，验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下，可以有效减小微电网内的功率波动，降低EV充放电费用；日内不需要迭代计算，可以满足实时调度的要求。

Abstract

As distributed energy storage devices

electric vehicles (EVs) have huge potential to curb power fluctuations. Considering the randomness of EV integration

the uncertainty of renewable energy generation and load

a real-time dispatch model with objectives of the minimum power fluctuations and minimum charging and discharging cost is established by using a model-free deep reinforcement learning method. In order to satisfy the user's demand

a charging and discharging energy boundary model is used to characterize the charging and discharging behaviors of EVs. After day-ahead training and parameter preservation of the proposed model

the corresponding charging and discharging dispatch strategy is generated in real time for the intraday real-time states of the system operation at each moment. Finally

taking a microgrid as an example

it is verified that the proposed deep reinforcement learning based dispatch method can effectively reduce power fluctuations in the microgrid and reduce EV charging and discharging cost on the premise of satisfying users' charging demands

while satisfying the demands of real-time dispatch without the need of iterative calculation for intraday dispatch.

关键词

Keywords

references

中华人民共和国信息和工业化部 . 新能源汽车产业发展规划（ 2021 — 2035 年）（征求意见稿）［EB/OL］.（ 2019-12-03 ）［ 2020-02-27 ］. http：//www.miit.gov.cn/n1278117/n1648113/c7553623/content.html http://www.miit.gov.cn/n1278117/n1648113/c7553623/content.html .

Ministry of Industry and Information Technology of the People’s Republic of China . New energy vehicle industry development plan （ 2021 — 2035 ）（draft for comment）［EB/OL］. （ 2019-12-03 ）［ 2020-02-27 ］. http：//www.miit.gov.cn/n1278117/n1648113/c7553623/content.html http://www.miit.gov.cn/n1278117/n1648113/c7553623/content.html .

赵俊华，文福拴，杨爱民，等 . 电动汽车对电力系统的影响及其调度与控制问题［J］. 电力系统自动化， 2011 ， 35 （ 14 ）： 2 - 10 .

ZHAO Junhua ， WEN Fushuan ， YANG Aimin ， et al . Impacts of electric vehicles on power systems as well as the associated dispatching and control problem ［J］. Automation of Electric Power Systems ， 2011 ， 35 （ 14 ）： 2 - 10 .

王锡凡，邵成成，王秀丽，等 . 电动汽车充电负荷与调度控制策略综述［J］. 中国电机工程学报， 2013 ， 33 （ 1 ）： 1 - 10 .

WANG Xifan ， SHAO Chengcheng ， WANG Xiuli ， et al . Survey of electric vehicle charging load and dispatch control strategies ［J］. Proceedings of the CSEE ， 2013 ， 33 （ 1 ）： 1 - 10 .

LE FLOCH C ， BELLETTI F ， MOURA S . Optimal charging of electric vehicles for load shaping： a dual-splitting framework with explicit convergence bounds ［J］. IEEE Transactions on Transportation Electrification ， 2016 ， 2 （ 2 ）： 190 - 199 .

SCHULLER A ， FLATH C M ， GOTTWALT S . Quantifying load flexibility of electric vehicles for renewable energy integration ［J］. Applied Energy ， 2015 ， 151 ： 335 - 344 .

程杉，王贤宁，冯毅煁 . 电动汽车充电站有序充电调度的分散式优化［J］. 电力系统自动化， 2018 ， 42 （ 1 ）： 39 - 46 .

CHENG Shan ， WANG Xianning ， FENG Yichen . Decentralized optimization of ordered charging scheduling in electric vehicle charging station ［J］. Automation of Electric Power Systems ， 2018 ， 42 （ 1 ）： 39 - 46 .

陈奎，马子龙，周思宇，等 . 电动汽车两阶段多目标有序充电策略研究［J］. 电力系统保护与控制， 2020 ， 48 （ 1 ）： 65 - 72 .

CHEN Kui ， MA Zilong ， ZHOU Siyu ， et al . Charging control strategy for electric vehicles based on two-stage multi-target optimization ［J］. Power System Protection and Control ， 2020 ， 48 （ 1 ）： 65 - 72 .

潘振宁，张孝顺，余涛，等 . 大规模电动汽车集群分层实时优化调度［J］. 电力系统自动化， 2017 ， 41 （ 16 ）： 96 - 104 .

PAN Zhenning ， ZHANG Xiaoshun ， YU Tao ， et al . Hierarchical real-time optimized dispatching for large-scale clusters of electric vehicles ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 16 ）： 96 - 104 .

陈吕鹏，潘振宁，余涛，等 . 基于动态非合作博弈的大规模电动汽车实时优化调度［J］. 电力系统自动化， 2019 ， 43 （ 24 ）： 32 - 40 .

CHEN Lüpeng ， PAN Zhenning ， YU Tao ， et al . Real-time optimal dispatch for large-scale electric vehicles based on dynamic non-cooperative game theory ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 24 ）： 32 - 40 .

潘振宁，余涛，王克英 . 考虑多方主体利益的大规模电动汽车分布式实时协同优化［J］. 中国电机工程学报， 2019 ， 39 （ 12 ）： 3528 - 3540 .

PAN Zhenning ， YU Tao ， WANG Keying . Decentralized coordinated dispatch for real-time optimization of massive electric vehicles considering various interests ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 12 ）： 3528 - 3540 .

胡澄，刘瑜俊，徐青山，等 . 面向含风电楼宇的电动汽车优化调度策略［J］. 电网技术， 2020 ， 44 （ 2 ）： 564 - 572 .

HU Cheng ， LIU Yujun ， XU Qingshan ， et al . Optimal scheduling strategy for electric vehicles in buildings with wind power ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 564 - 572 .

王彬，郭文鑫，李世明，等 . 基于短期预测信息和长期值函数近似的大规模电动汽车实时随机优化调度算法［J］. 电力系统保护与控制， 2019 ， 47 （ 24 ）： 47 - 56 .

WANG Bin ， GUO Wenxin ， LI Shiming ， et al . Real-time charging optimization for large-scale electric vehicles based on short term forecast information and long-term value function approximation ［J］. Power System Protection and Control ， 2019 ， 47 （ 24 ）： 47 - 56 .

胡俊杰，周华嫣然，李阳 . 集群电动汽车平抑光伏波动实时调度策略［J］. 电网技术， 2019 ， 43 （ 7 ）： 2552 - 2560 .

HU Junjie ， ZHOU Huayanran ， LI Yang . Real-time dispatching strategy for aggregated electric vehicles to smooth power fluctuation of photovoltaics ［J］. Power System Technology ， 2019 ， 43 （ 7 ）： 2552 - 2560 .

范士雄，李立新，王松岩，等 . 人工智能技术在电网调控中的应用研究［J］. 电网技术， 2020 ， 44 （ 2 ）： 401 - 411 .

FAN Shixiong ， LI Lixin ， WANG Songyan ， et al . Application analysis and exploration of artificial intelligence technology in power grid dispatch and control ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 401 - 411 .

ZHANG Z ， ZHANG D ， QIU R C . Deep reinforcement learning for power system applications： an overview ［J］. CSEE Journal of Power and Energy Systems ， 2020 ， 6 （ 1 ）： 213 - 225 .

张自东，邱才明，张冬霞，等 . 基于深度强化学习的微电网复合储能协调控制方法［J］. 电网技术， 2019 ， 43 （ 6 ）： 1914 - 1921 .

ZHANG Zidong ， QIU Caiming ， ZHANG Dongxia ， et al . A coordinated control method for hybrid energy storage system in microgrid based on deep reinforcement learning ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1914 - 1921 .

杜明秋，李妍，王标，等 . 电动汽车充电控制的深度增强学习优化方法［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4042 - 4048 .

DU Mingqiu ， LI Yan ， WANG Biao ， et al . Deep reinforcement learning optimization method for charging control of electric vehicles ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4042 - 4048 .

WAN Z ， LI H ， HE H ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

FELIPE L D S ， CYNTIA E H N ， DIEDERIK M R ， et al . Coordination of electric vehicle charging through multiagent reinforcement learning ［J/OL］. IEEE Transactions on Smart Grid ［ 2020-01-05 ］. DOI： 10.1109/TSG.2019.2952331 http://dx.doi.org/10.1109/TSG.2019.2952331 .

SUTTON R S ， BARTO A G . Reinforcement learning： an introduction ［M］. Cambridge， USA ： MIT Press ， 2018 .

XU Z ， CALLAWAY D S ， HU Z ， et al . Hierarchical coordination of heterogeneous flexible loads ［J］. IEEE Transactions on Power Systems ， 2016 ， 31 （ 6 ）： 4206 - 4216 .

XU Z ， SU W ， HU Z ， et al . A hierarchical framework for coordinated charging of plug-in electric vehicles in China ［J］. IEEE Transactions on Smart Grid ， 2017 ， 7 （ 1 ）： 428 - 438 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Bi-layer Coordinated Control Strategy of Distribution Network Considering Participation of Electric Vehicles and Microgrid

Low-carbon Optimal Dispatch of Smart Building Based on Interval Multi-objective Optimization with Deep Reinforcement Learning

Coordinated Charging Strategy Applicable to Large-scale Charging Stations Based on Deep Reinforcement Learning

Analysis on Probabilistic Joint Flow for Transportation Network and Distribution Network Considering Multiple Uncertainties of Road-Vehicle-Source-Load

Optimal Scheduling of Electric Vehicle Load for Large-scale Battery Charging and Swapping Based on Deep Reinforcement Learning

Related Author

FAN Peixiao

YANG Jun

WEN Yuxin

KE Song

LIU Xuecheng

DING Leyan

HOU Hui

HE Ziyin

Related Institution

Hubei Engineering and Technology Research Center for AC/DC Intelligent Distribution Network

School of Electrical Engineering and Automation, Wuhan University

Electric Power Research Institute of China Southern Power Grid Company Limited

School of Automation, Wuhan University of Technology

Shiyan Power Supply Company, State Grid Hubei Electric Power Company

⁰