基于多智能体深度强化学习的充电站实时协调定价方法

李玉璟; 李泽宁; 郝军强

doi:10.7500/AEPS20250731002

您当前的位置：

首页 >

文章列表页 >

基于多智能体深度强化学习的充电站实时协调定价方法

学术研究 | 更新时间：2026-02-28

- 基于多智能体深度强化学习的充电站实时协调定价方法
- Real-time Coordinated Pricing Method for Charging Stations Based on Multi-agent Deep Reinforcement Learning
- 电力系统自动化 2026年50卷第3期页码：125-134
- 作者机构：
  
  1.青岛大学电气工程学院，山东省青岛市 266071
  2.太原理工大学电气与动力工程学院，山西省太原市 030024
  3.煤电清洁智能控制教育部重点实验室（太原理工大学），山西省太原市 030024
- 作者简介：
  
  李玉璟(1996—)，女，通信作者，博士，讲师，主要研究方向：电力-交通耦合网络的协同优化运行。E-mail：liyujing1@qdu.edu.cn
  李泽宁(1994—)，男，博士，讲师，主要研究方向：城市配电网负荷恢复、集成智能楼宇的主动配电网优化运行。E-mail：lizening@tyut.edu.cn
  郝军强(2002—)，男，硕士研究生，主要研究方向：深度强化学习在电力-交通耦合互动中的应用。E-mail：haojunqiang1028@163.com
- 基金信息：
  
  煤电清洁智能控制教育部重点实验室开放基金项目(CICCE202422)
- DOI：10.7500/AEPS20250731002
  中图分类号：
- 收稿：2025-07-31，
  
  修回：2025-09-15，
  
  网络首发：2025-11-12，
  
  纸质出版：2026-02-10
- 稿件说明：
移动端阅览
李玉璟,李泽宁,郝军强.基于多智能体深度强化学习的充电站实时协调定价方法[J].电力系统自动化,2026,50(3):125-134.

LI Yujing,LI Zening,HAO Junqiang.Real-time Coordinated Pricing Method for Charging Stations Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(3):125-134.
李玉璟,李泽宁,郝军强.基于多智能体深度强化学习的充电站实时协调定价方法[J].电力系统自动化,2026,50(3):125-134. DOI： 10.7500/AEPS20250731002.

LI Yujing,LI Zening,HAO Junqiang.Real-time Coordinated Pricing Method for Charging Stations Based on Multi-agent Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(3):125-134. DOI： 10.7500/AEPS20250731002.

摘要

随着电动汽车规模的扩展，如何在高度复杂充电环境下通过充电站合理价格调控有效调度用户的充电决策行为具有重要意义。针对此问题，提出了一种基于多智能体深度强化学习的充电站实时协调定价方法。首先，构建合作联盟模式下充电站协调定价框架，对交通网、充电站及用户决策行为进行建模，建立考虑用户行驶时间、等待时间、充电时间和充电费用等充电综合成本的充电站选择决策模型。然后，将充电站定价问题表述为未知转移概率的随机博弈马尔可夫决策过程，以充电站作为智能体，利用多智能体演员-注意力-评论家算法求解实时定价。最后，通过仿真实例对所提方法的性能进行分析，并验证了所提充电站协调定价方法对均衡充电负荷空间分布的必要性。

Abstract

With the rapid growth of electric vehicles

it is crucial to effectively steer user charging decision-making behaviors in a highly complex charging environment through well-designed price control of charging stations. To this end

a real-time coordinated pricing method for charging stations based on multi-agent deep reinforcement learning is proposed. Firstly

a coordinated pricing framework for charging stations under a cooperative coalition mode is constructed

and the transportation network

charging stations

and user decision-making behaviors are modeled. A decision-making model for charging station selection is established considering the comprehensive charging costs of user traveling time

waiting time

charging time

and charging fees. Secondly

the charging station pricing problem is formulated as a stochastic game Markov decision process with unknown transition probabilities

treating charging stations as agents and solving the real-time pricing problem using a multi-agent actor-attention-critic algorithm. Finally

the performance of the proposed method is analyzed through simulation cases

and the necessity of the proposed coordinated pricing method for charging stations to equalize the spatial distribution of charging loads is verified.

关键词

Keywords

references

杨蒙，陈玥，徐潇源，等 . 电力-交通融合研究综述：模型、算法与关键问题［J］. 电力系统自动化， 2025 ， 49 （ 9 ）： 1 - 16 .

YANG Meng ， CHEN Yue ， XU Xiaoyuan ， et al . Review on research of power-transportation fusion： models， algorithms and key issues ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 9 ）： 1 - 16 .

吕思，陈胜，卫志农，等 . 面向电力-交通系统协同运行的建模、求解与应用评述［J］. 电力系统自动化， 2025 ， 49 （ 13 ）： 1 - 15 .

LYU Si ， CHEN Sheng ， WEI Zhinong ， et al . Review of modeling， solution and application for coordinated operation of power-transportation systems ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 13 ）： 1 - 15 .

喻磊，王锐，程杉，等 . 基于多主体主从博弈的电动汽车充电站双层定价策略［J］. 电力科学与技术学报， 2025 ， 40 （ 3 ）： 243 - 254 .

YU Lei ， WANG Rui ， CHENG Shan ， et al . Two-level pricing strategy for electric vehicle charging stations based on multi-agent Stackelberg game ［J］. Journal of Electric Power Science and Technology ， 2025 ， 40 （ 3 ）： 243 - 254 .

崔金栋，罗文达，周念成 . 基于多视角的电动汽车有序充放电定价模型与策略研究［J］. 中国电机工程学报， 2018 ， 38 （ 15 ）： 4438 - 4450 .

CUI Jindong ， LUO Wenda ， ZHOU Niancheng . Research on pricing model and strategy of electric vehicle charging and discharging based on multi view ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 15 ）： 4438 - 4450 .

谢仕炜，张亚超，舒胜文，等 . 考虑混合需求不确定性的电力-交通耦合网络最优定价策略［J］. 中国电机工程学报， 2023 ， 43 （ 22 ）： 8652 - 8666 .

XIE Shiwei ， ZHANG Yachao ， SHU Shengwen ， et al . Optimal pricing strategies of power-traffic coupled networks considering mixed demand uncertainties ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 22 ）： 8652 - 8666 .

谢龙韬，谢仕炜，陈铠悦，等 . 考虑用户出行成本预算的电力-交通耦合网络充电站定价策略［J］. 电力系统自动化， 2024 ， 48 （ 7 ）： 201 - 209 .

XIE Longtao ， XIE Shiwei ， CHEN Kaiyue ， et al . Pricing strategy of charging station in power-transportation coupling network considering user travel cost budget ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 7 ）： 201 - 209 .

杨帅，戴朝华，郭爱，等 . 考虑负荷空间均衡和充电站合作博弈的快速充电定价机制［J］. 电力系统自动化， 2024 ， 48 （ 7 ）： 190 - 200 .

YANG Shuai ， DAI Chaohua ， GUO Ai ， et al . Fast charging pricing mechanism considering load space balance and cooperative game of charging stations ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 7 ）： 190 - 200 .

蔡小婷，杨健维，廖凯，等 . 考虑负荷时空均衡和弹性响应的电动汽车快充电价定价策略［J］. 电力自动化设备， 2024 ， 44 （ 2 ）： 94 - 102 .

CAI Xiaoting ， YANG Jianwei ， LIAO Kai ， et al . Pricing strategy of electric vehicle fast charging price considering space-time equilibrium and elastic response of load ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 2 ）： 94 - 102 .

傅质馨，朱韦翰，朱俊澎，等 . 动态路-电耦合网络下电动出租车快速充电引导及其定价策略［J］. 电力自动化设备， 2022 ， 42 （ 4 ）： 9 - 17 .

FU Zhixin ， ZHU Weihan ， ZHU Junpeng ， et al . Fast charging guidance and pricing strategy for electric taxis based on dynamic traffic-grid coupling network ［J］. Electric Power Automation Equipment ， 2022 ， 42 （ 4 ）： 9 - 17 .

汪洋，汤宽武，赖科星，等 . 基于动态随机规划的共享电动汽车充电站规划［J］. 电网技术， 2022 ， 46 （ 9 ）： 3485 - 3499 .

WANG Yang ， TANG Kuanwu ， LAI Kexing ， et al . Planning of charging stations for shared electric vehicle based on dynamic stochastic programming ［J］. Power System Technology ， 2022 ， 46 （ 9 ）： 3485 - 3499 .

詹祥澎，杨军，王昕妍，等 . 考虑实时市场联动的电力零售商鲁棒定价策略［J］. 电网技术， 2022 ， 46 （ 6 ）： 2141 - 2153 .

ZHAN Xiangpeng ， YANG Jun ， WANG Xinyan ， et al . Robust pricing strategy of power retailer considering linkage of real-time market ［J］. Power System Technology ， 2022 ， 46 （ 6 ）： 2141 - 2153 .

ZHENG Y ， YAN Z M ， CHEN K J ， et al . Vulnerability assessment of deep reinforcement learning models for power system topology optimization ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 4 ）： 3613 - 3623 .

YANG H R ， XU Y L ， GUO Q L . Dynamic incentive pricing on charging stations for real-time congestion management in distribution network： an adaptive model-based safe deep reinforcement learning method ［J］. IEEE Transactions on Sustainable Energy ， 2023 ， 15 （ 2 ）： 1100 - 1113 .

QIAN T ， LIANG Z Y ， CHEN S ， et al . A tri-level demand response framework for EVCS flexibility enhancement in coupled power and transportation networks ［J］. IEEE Transactions on Smart Grid ， 2025 ， 16 （ 1 ）： 598 - 611 .

陈锦韬，林兵，林崧，等 . 基于多智能体深度强化学习的光储充电站动态定价及能源调度策略［J］. 计算机科学， 2025 ， 52 （ 9 ）： 337 - 345 .

CHEN Jintao ， LIN Bing ， LIN Song ， et al . Dynamic pricing and energy scheduling strategy for photovoltaic storage charging stations based on multi-agent deep reinforcement learning ［J］. Computer Science ， 2025 ， 52 （ 9 ）： 337 - 345 .

GE X X ， WANG G ， SUN R F ， et al . A distributed and game-theoretic-based EV charging pricing model under coupled energy-transportation-information networks ［J］. IEEE Transactions on Smart Grid ， 2025 ， 16 （ 1 ）： 652 - 664 .

YANG X Y ， CUI T X ， WANG H R ， et al . Multiagent deep reinforcement learning for electric vehicle fast charging station pricing game in electricity-transportation nexus ［J］. IEEE Transactions on Industrial Informatics ， 2024 ， 20 （ 4 ）： 6345 - 6355 .

LI Y J ， SU S ， ZHANG M H ， et al . Multi-agent graph reinforcement learning method for electric vehicle on-route charging guidance in coupled transportation electrification ［J］. IEEE Transactions on Sustainable Energy ， 2023 ， 15 （ 2 ）： 1180 - 1193 .

SU S ， LI Y J ， YAMASHITA K ， et al . Electric vehicle charging guidance strategy considering “traffic network-charging station-driver” modeling： a multiagent deep reinforcement learning-based approach ［J］. IEEE Transactions on Transportation Electrification ， 2023 ， 10 （ 3 ）： 4653 - 4666 .

SU S ， LI Y J ， CHEN Q F ， et al . Operating status prediction model at EV charging stations with fusing spatiotemporal graph convolutional network ［J］. IEEE Transactions on Transportation Electrification ， 2023 ， 9 （ 1 ）： 114 - 129 .

陕西省电动汽车充电基础设施建设运营管理办法［EB/OL］.［ 2024-12-26 ］. https：//www.shaanxi.gov.cn/zfxxgk/zfgb/2024/d23q/202412/t20241226_3273739_wap.html https://www.shaanxi.gov.cn/zfxxgk/zfgb/2024/d23q/202412/t20241226_3273739_wap.html .

Regulations on the construction ， operation ， and management of electric vehicle charging infrastructure in Shaanxi Province ［EB/OL］. ［ 2024-12-26 ］. https：//www.shaanxi.gov.cn/zfxxgk/zfgb/2024/d23q/202412/t20241226_3273739_wap.html https://www.shaanxi.gov.cn/zfxxgk/zfgb/2024/d23q/202412/t20241226_3273739_wap.html .

关于电动汽车用电价格政策有关问题的通知［EB/OL］.［ 2024-07-22 ］. https：//zfxxgk.ndrc.gov.cn/web/iteminfo.jspid=19564 https://zfxxgk.ndrc.gov.cn/web/iteminfo.jspid=19564 .

Notice on issues concerning the electricity pricing policy for electric vehicles ［EB/OL］. ［ 2024-07-22 ］. https：//zfxxgk.ndrc.gov.cn/web/iteminfo.jspid=19564 https://zfxxgk.ndrc.gov.cn/web/iteminfo.jspid=19564 .

TUCHNITZ F ， EBELL N ， SCHLUND J ， et al . Development and evaluation of a smart charging strategy for an electric vehicle fleet based on reinforcement learning ［J］. Applied Energy ， 2021 ， 285 ： 116382 .

IQBAL S ， SHA F . Actor-attention-critic for multi-agent reinforcement learning ［C］// International Conference on Machine Learning ， September 27 ， 2018， Long Beach ， USA .

LOWE R ， WU Y ， TAMAR A ， et al . Multi-agent actor-critic for mixed cooperative-competitive environments ［C］// International Conference on Neural Information Processing Systems ， December 4-9 ， 2017 ， Long Beach， USA .

FOERSTER J N ， FARQUHAR G ， AFOURAS T ， et al . Counterfactual multi-agent policy gradients ［C］// AAAI Conference on Artificial Intelligence ， February 2-7 ， 2018 ， New Orleans， USA .

LI Y J ， SU S ， LIU B ， et al . Trajectory-driven planning of electric taxi charging stations based on cumulative prospect theory ［J］. Sustainable Cities and Society ， 2022 ， 86 ： 104125 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于深度强化学习的两阶段集中-分布式配电网电压调控

基于多智能体深度强化学习的主动配电网电压调控策略

计及最优㶲流的综合能源系统多故障恢复策略

考虑电动汽车与微电网参与的配电网双层协调控制策略