Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price

ZHENG Yingying; MIAO Xinyi; WANG Hui; ZHAO Yongning

doi:10.7500/AEPS20240606005

您当前的位置：

首页 >

文章列表页 >

Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price

Basic Research | 更新时间：2025-06-16

- Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price
- Automation of Electric Power Systems Vol. 49, Issue 9, Pages: 96-106(2025)
- 作者机构：
  
  中国农业大学信息与电气工程学院，北京市 100083
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52207143)
- DOI：10.7500/AEPS20240606005
  CLC：
- Received：06 June 2024，
  
  Revised：2024-09-29，
  
  Published Online：06 December 2024，
  
  Published：10 May 2025
- 稿件说明：
移动端阅览
郑颖颖,缪新义,王晖等.支持时变需求响应激励价格的电动汽车优化充电策略[J].电力系统自动化,2025,49(9):96-106.

ZHENG Yingying,MIAO Xinyi,WANG Hui,et al.Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price[J].Automation of Electric Power Systems,2025,49(9):96-106.
郑颖颖,缪新义,王晖等.支持时变需求响应激励价格的电动汽车优化充电策略[J].电力系统自动化,2025,49(9):96-106. DOI： 10.7500/AEPS20240606005.

ZHENG Yingying,MIAO Xinyi,WANG Hui,et al.Optimal Charging Strategies for Electric Vehicles Supporting Time-varying Demand Response Incentive Price[J].Automation of Electric Power Systems,2025,49(9):96-106. DOI： 10.7500/AEPS20240606005.

摘要

随着电动汽车(EV)渗透率的提高，其无序充电行为将加大电网调峰难度。同时，分布式新能源占比的提高给新型电力系统电力电量平衡带来挑战。针对规模化私家电动汽车无序充电的问题，以电动汽车聚合商在辅助服务市场提供新能源就地消纳为研究对象，提出了一种支持时变需求响应激励价格的电动汽车强化学习充电策略。首先，考虑电动汽车用户充电行为的不确定性和参与需求响应的意愿，建立了支持时变激励折扣的电动汽车充电优化调度模型。然后，将差异化的时变激励价格和电动汽车充电方案制定为一个马尔可夫决策过程，为聚合商实时调度选取合适的状态空间和动作空间。最后，基于仿真算例对比分析不同应用场景下聚合商收益、用户充电成本、新能源消纳比例，验证了所提强化学习模型的有效性。

Abstract

As the penetration rate of electric vehicles (EVs) increases

the disordered charging behavior will increase the difficulty in grid peaking. At the same time

the increase in the proportion of distributed renewable energy brings challenges to the power balance of the new power system. Aiming at the problem of the disordered charging of scaled private EVs

a reinforcement learning charging strategy for EVs that supports the time-varying demand response incentive price is proposed by taking the EV aggregator to provide renewable energy with in-situ accommodation in the auxiliary service market as the research object. Firstly

an optimal scheduling model for EV charging that supports time-varying incentive discounts is established by considering the charging behavior uncertainty of EV users and their willingness to participate in demand response. Secondly

the differentiated time-varying incentive price and EV charging scheme are formulated as a Markov decision process to select appropriate state space and action space for real-time scheduling of aggregators. Finally

the effectiveness of the proposed reinforcement learning model is validated by comparing and analyzing the aggregator revenue

user charging cost

and renewable energy accommodation ratio in different application scenarios based on the simulation cases.

关键词

Keywords

references

石文超，吕林，高红均，等 . 考虑需求响应和电动汽车参与的主动配电网经济调度［J］. 电力系统自动化， 2020 ， 44 （ 11 ）： 41 - 51 .

SHI Wenchao ， LYU Lin ， GAO Hongjun ， et al . Economic dispatch of active distribution network with participation of demand response and electric vehicle ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 11 ）： 41 - 51 .

2024年世界电动汽车销量将创新纪录［J］. 中外能源， 2024 ， 29 （ 6 ）： 103 .

In 2024 ， the world’s electric vehicle sales will set a new record ［J］. Sino-Global Energy ， 2024， 29 （ 6 ）： 103 .

TAVAKOLI A ， NEGNEVITSKY M ， SAHA S ， et al . Self-scheduling of a generating company with an EV load aggregator under an energy exchange strategy ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 4 ）： 4253 - 4264 .

PORRAS A ， FERNANDEZ-BLANCO R ， MORALES J M ， et al . An efficient robust approach to the day-ahead operation of an aggregator of electric vehicles ［J］. IEEE Transactions on Smart Grid ， 2020 ， 11 （ 6 ）： 4960 - 4970 .

蔡国伟，姜雨晴，黄南天，等 . 电力需求响应机制下基于多主体双层博弈的规模化电动汽车充放电优化调度［J］. 中国电机工程学报， 2023 ， 43 （ 1 ）： 85 - 99 .

CAI Guowei ， JIANG Yuqing ， HUANG Nantian ， et al . Large-scale electric vehicles charging and discharging optimization scheduling based on multi-agent two-level game under electricity demand response mechanism ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 1 ）： 85 - 99 .

侯慧，唐俊一，王逸凡，等 . 价格与激励联合需求响应下电动汽车长时间尺度充放电调度［J］. 电力系统自动化， 2022 ， 46 （ 15 ）： 46 - 55 .

HOU Hui ， TANG Junyi ， WANG Yifan ， et al . Long-time-scale charging and discharging scheduling of electric vehicles under joint price and incentive demand response ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 15 ）： 46 - 55 .

ZHENG Y Y ， CELIK B ， SURYANARAYANAN S ， et al . An aggregator-based resource allocation in the smart grid using an artificial neural network and sliding time window optimization ［J］. IET Smart Grid ， 2021 ， 4 （ 6 ）： 612 - 622 .

崔杨，刘柏岩，赵钰婷，等 . 计及车辆转移机制的含BSS微网联合系统优化调度策略［J］. 高电压技术， 2022 ， 48 （ 1 ）： 366 - 373 .

CUI Yang ， LIU Baiyan ， ZHAO Yuting ， et al . Optimal scheduling strategy for joint system with microgrid containing BSS considering vehicle transfer mechanism ［J］. High Voltage Engineering ， 2022 ， 48 （ 1 ）： 366 - 373 .

朱兰，王坤，唐陇军，等 . 考虑道路交通模型的电动汽车聚合商短时调度策略和响应激励设计［J］. 电网技术， 2022 ， 46 （ 7 ）： 2699 - 2712 .

ZHU Lan ， WANG Kun ， TANG Longjun ， et al . Electric vehicle aggregator dispatch strategy and response incentive mechanism based on road traffic model ［J］. Power System Technology ， 2022 ， 46 （ 7 ）： 2699 - 2712 .

赵星宇，胡俊杰 . 集群电动汽车充电行为的深度强化学习优化方法［J］. 电网技术， 2021 ， 45 （ 6 ）： 2319 - 2327 .

ZHAO Xingyu ， HU Junjie . Deep reinforcement learning based optimization for charging of aggregated electric vehicles ［J］. Power System Technology ， 2021 ， 45 （ 6 ）： 2319 - 2327 .

王俊杰，贾雨龙，米增强，等 . 基于双重激励机制的电动汽车备用服务策略［J］. 电力系统自动化， 2020 ， 44 （ 10 ）： 68 - 76 .

WANG Junjie ， JIA Yulong ， MI Zengqiang ， et al . Reserve service strategy of electric vehicles based on double-incentive mechanism ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 10 ）： 68 - 76 .

周玮，徐从明，杨丹霞，等 . P2P能源共享下考虑意愿动态调整的电动汽车群需求响应策略研究［J］. 中国电机工程学报， 2023 ， 43 （ 21 ）： 8217 - 8230 .

ZHOU Wei ， XU Congming ， YANG Danxia ， et al . Research on demand response strategy of electric vehicles considering dynamic adjustment of willingness under P2P energy sharing ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 21 ）： 8217 - 8230 .

胡俊杰，马文帅，薛禹胜，等 . 基于CPSSE框架的电动汽车聚合商备用容量量化［J］. 电力系统自动化， 2022 ， 46 （ 18 ）： 46 - 54 .

HU Junjie ， MA Wenshuai ， XUE Yusheng ， et al . Quantification of reserve capacity provided by electric vehicle aggregator based on framework of cyber-physical-social system in energy ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 18 ）： 46 - 54 .

侯慧，王逸凡，赵波，等 . 价格与激励需求响应下电动汽车负荷聚集商调度策略［J］. 电网技术， 2022 ， 46 （ 4 ）： 1259 - 1269 .

HOU Hui ， WANG Yifan ， ZHAO Bo ， et al . Electric vehicle aggregator dispatching strategy under price and incentive demand response ［J］. Power System Technology ， 2022 ， 46 （ 4 ）： 1259 - 1269 .

YAN L F ， CHEN X ， ZHOU J Y ， et al . Deep reinforcement learning for continuous electric vehicles charging control with dynamic user behaviors ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 6 ）： 5124 - 5134 .

LIMMER S ， RODEMANN T . Peak load reduction through dynamic pricing for electric vehicle charging ［J］. International Journal of Electrical Power & Energy Systems ， 2019 ， 113 ： 117 - 128 .

GHOSH A ， AGGARWAL V . Control of charging of electric vehicles through menu-based pricing ［J］. IEEE Transactions on Smart Grid ， 2018 ， 9 （ 6 ）： 5918 - 5929 .

阎怀东，马汝祥，柳志航，等 . 计及需求响应的电动汽车充电站多时间尺度随机优化调度［J］. 电力系统保护与控制， 2020 ， 48 （ 10 ）： 71 - 80 .

YAN Huaidong ， MA Ruxiang ， LIU Zhihang ， et al . Multi-time scale stochastic optimal dispatch of electric vehicle charging station considering demand response ［J］. Power System Protection and Control ， 2020 ， 48 （ 10 ）： 71 - 80 .

朱永胜，孙贤，谢晓峰，等 . 多态场景下考虑出行链重构的电动汽车多目标协同优化调度［J］. 电力系统自动化， 2024 ， 48 （ 9 ）： 129 - 141 .

ZHU Yongsheng ， SUN Xian ， XIE Xiaofeng ， et al . Multi-objective collaborative optimal dispatch for electric vehicles in multistate scenarios considering trip chain reconstruction ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 9 ）： 129 - 141 .

李航，李国杰，汪可友 . 基于深度强化学习的电动汽车实时调度策略［J］. 电力系统自动化， 2020 ， 44 （ 22 ）： 161 - 167 .

LI Hang ， LI Guojie ， WANG Keyou . Real-time dispatch strategy for electric vehicles based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 22 ）： 161 - 167 .

陈果，王秀丽，原晟淇，等 . 适用于大规模充电场站的深度强化学习有序充电策略［J］. 电力系统自动化， 2023 ， 47 （ 2 ）： 88 - 95 .

CHEN Guo ， WANG Xiuli ， YUAN Shengqi ， et al . Coordinated charging strategy applicable to large-scale charging stations based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 2 ）： 88 - 95 .

张延宇，饶新朋，周书奎，等 . 基于深度强化学习的电动汽车充电调度算法研究进展［J］. 电力系统保护与控制， 2022 ， 50 （ 16 ）： 179 - 187 .

ZHANG Yanyu ， RAO Xinpeng ， ZHOU Shukui ， et al . Research progress of electric vehicle charging scheduling algorithms based on deep reinforcement learning ［J］. Power System Protection and Control ， 2022 ， 50 （ 16 ）： 179 - 187 .

刘敦楠，王玲湘，汪伟业，等 . 基于深度强化学习的大规模电动汽车充换电负荷优化调度［J］. 电力系统自动化， 2022 ， 46 （ 4 ）： 36 - 46 .

LIU Dunnan ， WANG Lingxiang ， WANG Weiye ， et al . Optimal scheduling of electric vehicle load for large-scale battery charging and swapping based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 4 ）： 36 - 46 .

张文昕，栗然，臧向迪，等 . 基于强化学习的电动汽车换电站实时调度策略优化［J］. 电力自动化设备， 2022 ， 42 （ 10 ）： 134 - 141 .

ZHANG Wenxin ， LI Ran ， ZANG Xiangdi ， et al . Real-time scheduling strategy optimization for electric vehicle battery swapping station based on reinforcement learning ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 10 ）： 134 - 141 .

赵小瑾，张开宇，冯冬涵，等 . 基于强化学习的电动汽车集群实时优化调度策略［J］. 智慧电力， 2022 ， 50 （ 1 ）： 53 - 59 .

ZHAO Xiaojin ， ZHANG Kaiyu ， FENG Donghan ， et al . Real-time optimal scheduling strategy for electric vehicle clusters based on reinforcement learning ［J］. Smart Power ， 2022 ， 50 （ 1 ）： 53 - 59 .

WANG S Y ， BI S Z ， ZHANG Y A . Reinforcement learning for real-time pricing and scheduling control in EV charging stations ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 2 ）： 849 - 859 .

QIU D W ， WANG Y ， ZHANG T Q ， et al . Hybrid multiagent reinforcement learning for electric vehicle resilience control towards a low-carbon transition ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 11 ）： 8258 - 8269 .

DOROKHOVA M ， MARTINSON Y ， BALLIF C ， et al . Deep reinforcement learning control of electric vehicle charging in the presence of photovoltaic generation ［J］. Applied Energy ， 2021 ， 301 ： 117504 .

葛晓琳，胡文哲，符杨，等 . 基于用户响应意愿度三维Sigmoid云模型的电动汽车优化调度策略［J/OL］. 中国电机工程学报［ 2024-06-04 ］. http：//kns.cnki.net/kcms/detail/11.2107.TM.20240402.1310.018.html http://kns.cnki.net/kcms/detail/11.2107.TM.20240402.1310.018.html .

GE Xiaolin ， HU Wenzhe ， FU Yang ， et al . Optimal scheduling strategy for electric vehicles based on user response willingness three dimensional Sigmoid cloud model ［J/OL］. Proceedings of the CSEE ［ 2024-06-04 ］. http：//kns.cnki.net/kcms/detail/11.2107.TM.20240402.1310.018.html http://kns.cnki.net/kcms/detail/11.2107.TM.20240402.1310.018.html .

WAN Z Q ， LI H P ， HE H B ， et al . Model-free real-time EV charging scheduling based on deep reinforcement learning ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 5 ）： 5246 - 5257 .

CUI D S ， WANG Z P ， LIU P ， et al . Battery electric vehicle usage pattern analysis driven by massive real-world data ［J］. Energy ， 2022 ， 250 ： 123837 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Optimal Scheduling Method for Power Grid Considering Participation of Electric Vehicles in Flexible Regulation During Cold Wave Weather

Charging Path Planning for Electric Vehicles Based on Reinforcement Learning Environment Design Strategy

Related Author

ZHENG Yingying

MIAO Xinyi

WANG Hui

ZHAO Yongning

JIAO Zhijie

XU Yin

LIU Zhao

WANG Xiaojun

Related Institution

School of Electrical Engineering, Beijing Jiaotong University

School of Automation, Southeast University

Key Laboratory of Measurement and Control of Complex System of Engineering,Southeast University

School of Electrical Engineering, Southeast University

College of Electronic and Information Engineering, Zhongyuan University of Technology

⁰