基于可解释强化学习的充电站安全快速需求响应策略

林晓明; 肖勇; 王吉; 钱斌; 唐建林; 张帆

doi:10.7500/AEPS20250806004

您当前的位置：

首页 >

文章列表页 >

基于可解释强化学习的充电站安全快速需求响应策略

新型电力系统背景下的车网互动关键技术与应用实践 | 更新时间：2026-08-21

- 基于可解释强化学习的充电站安全快速需求响应策略
- Safe and Rapid Demand Response Strategy for Charging Stations Based on Explainable Reinforcement Learning
- 电力系统自动化 2026年50卷第15期页码：169-182
- 作者机构：
  
  1.南方电网科学研究院有限责任公司，广东省广州市 510663
  2.广东省电网智能量测与先进计量重点实验室，广东省广州市 510663
- 作者简介：
  
  林晓明(1993—)，男，通信作者，硕士，工程师，主要研究方向：电动汽车与智能用电技术。E-mail：linxm4@csg.cn
  肖勇（1978—），男，博士，教授级高级工程师，主要研究方向：先进计量与智能量测技术。E-mail：xiaoyong@csg.cn
  王吉(1987—)，女，硕士，高级工程师，主要研究方向：电能计量装置检测技术。E-mail：wangji@csg.cn
- 基金信息：
  
  中国基金项目:南方电网有限责任公司重大科技专项(ZBKJXM20232456)
- DOI：10.7500/AEPS20250806004
  中图分类号：
- 收稿：2025-08-06，
  
  修回：2026-03-31，
  
  网络首发：2026-05-22，
  
  纸质出版：2026-08-10
- 稿件说明：
移动端阅览
林晓明,肖勇,王吉等.基于可解释强化学习的充电站安全快速需求响应策略[J].电力系统自动化,2026,50(15):169-182.

LIN Xiaoming,XIAO Yong,WANG Ji,et al.Safe and Rapid Demand Response Strategy for Charging Stations Based on Explainable Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(15):169-182.
林晓明,肖勇,王吉等.基于可解释强化学习的充电站安全快速需求响应策略[J].电力系统自动化,2026,50(15):169-182. DOI： 10.7500/AEPS20250806004.

LIN Xiaoming,XIAO Yong,WANG Ji,et al.Safe and Rapid Demand Response Strategy for Charging Stations Based on Explainable Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(15):169-182. DOI： 10.7500/AEPS20250806004.

摘要

电动汽车充电站参与需求响应(DR)能够有效促进节能降碳，促进电网稳定经济运行。充电站DR优化策略必须具备可解释性，且能安全、快速应对环境的不确定性。文中提出一种上层为可解释强化学习、下层为数学规划的两层优化方法。首先，建立了两层优化框架，上层负责时间维优化，以应对不确定性；下层负责空间维优化；然后，为上层设计了可解释的Kolmogorov-Arnold网络（KAN）与软演员-评论家(KAN-SAC)算法，该算法利用KAN的可解析函数结构，在提升策略可解释性的同时具有优良的泛化能力与训练稳定性；接着，将下层优化问题转化为连续二次规划问题，从而构建出一种适用于时空耦合调度问题的协同优化模式。测试结果表明，所提方法确保了透明且简洁的决策路径，在不确定环境下能够提供可解释且安全的DR日前决策方案，并降低充电桩用电成本。

Abstract

The participation of electric vehicle (EV) charging stations in demand response (DR) can effectively promote energy conservation and carbon emission reduction

while supporting the stable and economic operation of power grids. DR optimization strategies for charging stations must be explainable and capable of enabling safe and rapid adaptation to environmental uncertainty. This paper proposes a bi-level optimization method

in which the upper level uses explainable reinforcement learning (XRL) and the lower level uses mathematical programming (MP). First

a bi-level optimization framework is established

where the upper level handles temporal dimension optimization to address uncertainties

and the lower-level handles spatial dimension optimization. Then

an interpretable Kolmogorov-Arnold network (KAN) soft actor-critic (KAN-SAC) algorithm is developed for the upper level

which leverages the analytical function structure of KANs to enhance strategy interpretability while achieving excellent generalization capability and training stability. Subsequently

for the lower level

the optimization problem is reformulated as a continuous quadratic programming problem

thereby constructing a collaborative optimization paradigm tailored for spatial-temporal coupled scheduling problems. Testing results show that the proposed method ensures transparent and concise decision-making paths

delivering explainable and safe day-ahead DR decision schemes under uncertain environments and reducing the electricity consumption cost of charging piles.

关键词

Keywords

references

蔡黎，商冰洁，高乐，等 . 电动汽车有序充电研究与应用综述［J］. 南方电网技术， 2023 ， 17 （ 11 ）： 97 - 107 .

CAI Li ， SHANG Bingjie ， GAO Le ， et al . Review of research and application on orderly charging of electric vehicles ［J］. Southern Power System Technology ， 2023 ， 17 （ 11 ）： 97 - 107 .

茆美琴，林晨，王吉文，等 . 大规模电动汽车参与区域电网深度调峰的分层可交易能源控制策略［J］. 中国电机工程学报， 2025 ， 45 （ 11 ）： 4187 - 4200 .

MAO Meiqin ， LIN Chen ， WANG Jiwen ， et al . Hierarchical transactive energy control strategies for deep peak regulation in regional power grid with large-scale electrical vehicles ［J］. Proceedings of the CSEE ， 2025 ， 45 （ 11 ）： 4187 - 4200 .

黄元清，刘迪迪，覃光锋，等 . 计及车主需求的电动汽车聚合商能量调度策略［J］. 南方电网技术， 2024 ， 18 （ 10 ）： 161 - 170 .

HUANG Yuanqing ， LIU Didi ， QIN Guangfeng ， et al . Energy scheduling strategy for electric vehicle aggregators considering vehicle owners demands ［J］. Southern Power System Technology ， 2024 ， 18 （ 10 ）： 161 - 170 .

郑颖颖，缪新义，王晖，等 . 支持时变需求响应激励价格的电动汽车优化充电策略［J］. 电力系统自动化， 2025 ， 49 （ 9 ）： 96 - 106 .

ZHENG Yingying ， MIAO Xinyi ， WANG Hui ， et al . Optimal charging strategies for electric vehicles supporting time-varying demand response incentive price ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 9 ）： 96 - 106 .

王明深，李毅强，崔莉，等 . 考虑多元不确定性的规模化电动汽车降维建模与控制方法［J/OL］. 电力自动化设备［ 2025-11-28 ］. https：//doi.org/10.16081/j.epae.202508021 https://doi.org/10.16081/j.epae.202508021 .

WANG Mingshen ， LI Yiqiang ， CUI Li ， et al . Dimensionality reduction modeling and control method for large-scale electric vehicles considering multiple uncertainties ［J/OL］. Electric Power Automation Equipment ［ 2025-11-28 ］. https：//doi.org/10.16081/j.epae.202508021 https://doi.org/10.16081/j.epae.202508021 .

新一代人工智能伦理规范［EB/OL］.［ 2025-01-10 ］. https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html https://www.most.gov.cn/kjbgz/202109/t20210926_177063.html .

Ethical guidelines for the next generation of artificial intelligence ［EB/OL］. ［ 2025-01-10 ］. https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html https://www.most.gov.cn/kjbgz/202109/t20210926_177063.html .

Council of the European Union European Parliament . Regulation （EU） 2016 / 679 of the European Parliament and of the council［EB/OL］. ［ 2025-01-10 ］. https：//eur-lex.europa.eu/eli/reg/2016/679/oj https://eur-lex.europa.eu/eli/reg/2016/679/oj .

PHILLIPS P J ， HAHN C A ， FONTANA P C ， et al . Four principles of explainable artificial intelligence ［EB/OL］. ［ 2025-01-10 ］. https：//www.nist.gov/publications/four-principles-explainable-artificial-intelligence https://www.nist.gov/publications/four-principles-explainable-artificial-intelligence .

谢国民，刘澳 . 基于混合特征提取和机器学习的锂离子电池健康状态估计［J］. 电力系统自动化， 2025 ， 49 （ 21 ）： 120 - 130 .

XIE Guomin ， LIU Ao . State of health estimation for lithium-ion batteries based on hybrid feature extraction and machine learning ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 21 ）： 120 - 130 .

许刚，张丙旭，张广超 . 电动汽车集群并网的分布式鲁棒优化调度模型［J］. 电工技术学报， 2021 ， 36 （ 3 ）： 565 - 578 .

XU Gang ， ZHANG Bingxu ， ZHANG Guangchao . Distributed and robust optimal scheduling model for large-scale electric vehicles connected to grid ［J］. Transactions of China Electrotechnical Society ， 2021 ， 36 （ 3 ）： 565 - 578 .

QURESHI U ， GHOSH A ， PANIGRAHI B K . Multiobjective Pareto-optimal intelligent electric vehicle charging schedule in a commercial charging station： a stochastic convex optimization approach ［J］. IEEE Transactions on Industrial Informatics ， 2024 ， 20 （ 11 ）： 12620 - 12632 .

侯慧，何梓姻，侯婷婷，等 . 大规模车网互动需求响应策略及潜力评估综述［J］. 电力系统保护与控制， 2024 ， 52 （ 14 ）： 177 - 187 .

HOU Hui ， HE Ziyin ， HOU Tingting ， et al . A review of demand response strategies and potential evaluation for large-scale vehicle to grid ［J］. Power System Protection and Control ， 2024 ， 52 （ 14 ）： 177 - 187 .

ZHANG B ， YANG Y ， MIAO R ， et al . Optimizing BSS charging management considering renewable energy by dynamic multi-step deep RL approach for urban governance ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2025 ， 26 （ 9 ）： 13427 - 13438 .

JIN R Y ， ZHOU Y K ， LU C ， et al . Deep reinforcement learning-based strategy for charging station participating in demand response ［J］. Applied Energy ， 2022 ， 328 ： 120140 .

HUSSAIN A ， BUI V H ， MUSILEK P . Local demand management of charging stations using vehicle-to-vehicle service： a welfare maximization-based soft actor-critic model ［J］. eTransportation ， 2023 ， 18 ： 100280 .

SU Y X ， YUE S X ， QIU L ， et al . Energy management for scalable battery swapping stations： a deep reinforcement learning and mathematical optimization cascade approach ［J］. Applied Energy ， 2024 ， 365 ： 123212 .

蒲天骄，乔骥，赵紫璇，等 . 面向电力系统智能分析的机器学习可解释性方法研究（一）：基本概念与框架［J］. 中国电机工程学报， 2023 ， 43 （ 18 ）： 7010 - 7029 .

PU Tianjiao ， QIAO Ji ， ZHAO Zixuan ， et al . Research on interpretable methods of machine learning applied in intelligent analysis of power system（Part Ⅰ）： basic concept and framework ［J］. Proceedings of the CSEE ， 2023 ， 43 （ 18 ）： 7010 - 7029 .

GAO Y ， RUAN Y J . Interpretable deep learning model for building energy consumption prediction based on attention mechanism ［J］. Energy and Buildings ， 2021 ， 252 ： 111379 .

曹宏业，刘潇，董绍康，等 . 面向强化学习的可解释性研究综述［J］. 计算机学报， 2024 ， 47 （ 8 ）： 1853 - 1882 .

CAO Hongye ， LIU Xiao ， DONG Shaokang ， et al . A survey of interpretability research methods for reinforcement learning ［J］. Chinese Journal of Computers ， 2024 ， 47 （ 8 ）： 1853 - 1882 .

SU Y X ， XU M Y ， LIU X ， et al . Explainable reinforcement learning for enhancing personal thermal comfort and optimizing demand response in household multi-zone HVAC system ［J］. Science China Technological Sciences ， 2025 ， 68 （ 6 ）： 1600403 .

刘栋，郭国栋，辛蜀骏，等 . 基于KAN的可解释净负荷概率预测方法［J］. 电力系统自动化， 2025 ， 49 （ 15 ）： 123 - 132 .

LIU Dong ， GUO Guodong ， XIN Shujun ， et al . Probabilistic prediction method for interpretable net load based on Kolmogorov-Arnold network ［J］. Automation of Electric Power Systems ， 2025 ， 49 （ 15 ）： 123 - 132 .

WU J R ， DU R Z ， WANG Z Y . Deep reinforcement learning with dual-Q and Kolmogorov-Arnold networks for computation offloading in industrial IoT ［J］. Computer Networks ， 2025 ， 257 ： 110987 .

KUNDU A ， SARKAR A ， SADHU A . KANQAS： Kolmogorov-Arnold network for quantum architecture search ［J］. EPJ Quantum Technology ， 2024 ， 11 （ 1 ）： 76 .

LI T ， ZHANG C Z ， ZHANG G B ， et al . Simulating fish autonomous swimming behaviours using deep reinforcement learning based on Kolmogorov-Arnold networks ［J］. Bioinspiration & Biomimetics ， 2025 ， 20 （ 2 ）： 026001 .

LIU Z M ， WANG Y X ， VAIDYA S ， et al . KAN： Kolmogorov-Arnold networks ［EB/OL］. ［ 2025-09-10 ］. https：//arxiv.org/abs/2404.19756 https://arxiv.org/abs/2404.19756 .

THAKOLKARAN P ， GUO Y Q ， SAINI S ， et al . Can KAN cans？ Input-convex Kolmogorov-Arnold Networks （KANs） as hyperelastic constitutive artificial neural networks （CANs）［J］. Computer Methods in Applied Mechanics and Engineering ， 2025 ， 443 ： 118089 .

MA Z J ， ZOU S L ， RAN L ， et al . Efficient decentralized coordination of large-scale plug-in electric vehicle charging ［J］. Automatica ， 2016 ， 69 ： 35 - 47 .

WANG J H ， DU C Q ， YAN F W ， et al . Energy management of a plug-in hybrid electric vehicle using Bayesian optimization and soft actor-critic algorithm ［J］. IEEE Transactions on Transportation Electrification ， 2025 ， 11 （ 1 ）： 912 - 921 .

王智巍，陈仁杰 . 基于B样条的细分曲面参数化［J］. 计算机辅助设计与图形学学报， 2024 ， 36 （ 11 ）： 1825 - 1832 .

WANG Zhiwei ， CHEN Renjie . B-splines based subdivision surfaces parameterization ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2024 ， 36 （ 11 ）： 1825 - 1832 .

PowerFlex Systems . Acndata sessions ［DB/OL］. ［ 2025-09-10 ］. https：//ev.caltech.edu/dataset https://ev.caltech.edu/dataset .

TRUONG V B ， LE L B . Electric vehicle charging design： The factored action based reinforcement learning approach ［J］. Applied Energy ， 2024 ， 359 ： 122737 .

KE B R ， LIN Y H ， CHEN H Z ， et al . Battery charging and discharging scheduling with demand response for an electric bus public transportation system ［J］. Sustainable Energy Technologies and Assessments ， 2020 ， 40 ： 100741 .

SCHROER K ， AHADI R ， KETTER W ， et al . Data-driven planning of large-scale electric vehicle charging hubs using deep reinforcement learning ［J］. Transportation Research： Part C： Emerging Technologies ， 2025 ， 177 ： 105126 .

BARREDO ARRIETA A ， DÍAZ-RODRÍGUEZ N ， DEL SER J ， et al . Explainable artificial intelligence （XAI）： concepts， taxonomies， opportunities and challenges toward responsible AI ［J］. Information Fusion ， 2020 ， 58 ： 82 - 115 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

考虑调频-激励不确定性的EV集群与机组协同调频鲁棒优化模型

计及多重不确定性的规模化电动汽车接入配电网调度方法

计及需求响应不确定性的节点负荷准线：概念与模型

适用于二极管整流低频交流送出的海上风电虚拟同步控制

考虑低电压穿越锁相稳定与暂态过电压的VSC参数安全域