Coordinated Optimal Scheduling of Computing Power-Electric Power Resources in Multi-data Centers Based on Accelerated Deep Reinforcement Learning

DONG Yahan; WANG Xu; XIA Wei; GONG Kai; KE Jun; JIANG Chuanwen

doi:10.7500/AEPS20251113004

您当前的位置：

首页 >

文章列表页 >

Coordinated Optimal Scheduling of Computing Power-Electric Power Resources in Multi-data Centers Based on Accelerated Deep Reinforcement Learning

Computing Power-Electric Power Coordination | 更新时间：2026-09-01

- Coordinated Optimal Scheduling of Computing Power-Electric Power Resources in Multi-data Centers Based on Accelerated Deep Reinforcement Learning
- Automation of Electric Power Systems Vol. 50, Issue 17, Pages: 96-114(2026)
- 作者机构：
  
  1.电力传输与功率变换控制教育部重点实验室（上海交通大学），上海市 200240
  2.上海非碳基能源转换与利用研究院，上海市 200240
  3.国网上海市电力公司浦东供电公司，上海市 200122
  4.浙江大学控制科学与工程学院，浙江省杭州市 310058
- 作者简介：
- 基金信息：
  
  National Natural Science Foundation of China(52577122);National Key R&D Program of China(2023YFE0119800)
- DOI：10.7500/AEPS20251113004
  CLC：
- Received：13 November 2025，
  
  Revised：2026-01-23，
  
  Online First：29 July 2026，
  
  Published：10 September 2026
- 稿件说明：
移动端阅览
董亚晗,王旭,夏威等.基于加速深度强化学习的多数据中心算-电资源协同优化调度[J].电力系统自动化,2026,50(17):96-114.

DONG Yahan,WANG Xu,XIA Wei,et al.Coordinated Optimal Scheduling of Computing Power-Electric Power Resources in Multi-data Centers Based on Accelerated Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(17):96-114.
董亚晗,王旭,夏威等.基于加速深度强化学习的多数据中心算-电资源协同优化调度[J].电力系统自动化,2026,50(17):96-114. DOI： 10.7500/AEPS20251113004.

DONG Yahan,WANG Xu,XIA Wei,et al.Coordinated Optimal Scheduling of Computing Power-Electric Power Resources in Multi-data Centers Based on Accelerated Deep Reinforcement Learning[J].Automation of Electric Power Systems,2026,50(17):96-114. DOI： 10.7500/AEPS20251113004.

摘要

为提升多个地理位置分散的数据中心在电力市场中的参与能力与调度效率，针对在同时考虑多数据中心协同、服务质量约束及光储协同时，端到端深度强化学习（DRL）动作空间维度过大、训练收敛缓慢等问题，构建数据中心聚合体（DCA）模型，并提出面向算-电耦合的双层决策协同调度框架。DCA模型通过整合由同一运营商管理的多个小型数据中心，优化资源管理和负载调度，增强其在动态电力市场中的竞争力。求解模型采用双层结构，结合DRL与混合整数线性规划，将影响未来能量状态的远视动作交由上层DRL智能体处理，而当前成本相关的短视动作则由下层混合整数线性规划求解器优化，实现长期策略与即时决策的协同优化。仿真结果表明，相较于全动作空间DRL，所提模型总成本下降约42.55%，训练时间降至分钟级；相较于线性优化方法，所提方法可在不同负载场景下进一步降低购电与综合成本。仿真结果还验证了不同因素如负载类型、储能容量和服务质量等对调度的影响，体现了所提方法的鲁棒性与普适性。

Abstract

To improve the participation capability and scheduling efficiency of multiple geographically dispersed data centers in electricity markets

this paper addresses the issues of excessively high dimensionality of action spaces and slow training convergence faced by end-to-end deep reinforcement learning (DRL) when simultaneously considering multi-data-center coordination

quality-of-service constraints

and photovoltaic-energy storage coordination. A data center aggregator (DCA) model is constructed

and a two-layer decision coordinated scheduling framework oriented to computing power-electric power coupling is proposed. By integrating multiple small-scale data centers managed by a single operator

the DCA model optimizes resource management and workload scheduling

and strengthens their competitiveness in dynamic electricity markets. The proposed model adopts a two-layer solution architecture combining DRL and mixed-integer linear programming (MILP). The upper-layer DRL agent handles far-sighted actions that affect future energy states

while the lower-layer MILP solver optimizes myopic actions related to immediate costs

realizing coordinated optimization of long-term strategies and real-time decisions. Simulation results demonstrate that compared with full-action-space DRL

the total cost of the proposed model is reduced by approximately 42.55%

and the training time is shortened to the minute level. In contrast to linear optimization methods

the proposed approach further decreases electricity purchase costs and total comprehensive costs in diverse workload scenarios. The simulation results also verify the impacts of various factors including workload types

energy storage capacity and quality-of-service requirements on scheduling

which reflects the robustness and universality of the proposed method.

关键词

Keywords

references

Prabhakar G ， Rao B B . Cultivating resilience： a transformative approach to enhancing cloud data security with transformer-based techniques ［J］. Proceedings on Engineering ， 2024 ， 6 （ 4 ）： 1551 - 1560 .

方俊杰，雷凯 . 面向边缘人工智能计算的区块链技术综述［J］. 应用科学学报， 2020 ， 38 （ 1 ）： 1 - 21 .

Fang Junjie ， Lei Kai . Blockchain for edge AI computing： a survey ［J］. Journal of Applied Sciences ， 2020 ， 38 （ 1 ）： 1 - 21 .

Trimarchi S ， Casamatta F ， Grimaccia F ， et al . Strategy optimization by means of evolutionary algorithms with multiple closing criteria for energy trading ［J］. IEEE Open Journal of Industry Applications ， 2024 ， 5 ： 469 - 478 .

Cao Y J ， Cao F ， Wang Y J ， et al . Managing data center cluster as non-wire alternative： a case in balancing market ［J］. Applied Energy ， 2024 ， 360 ： 122769 .

王玚，李鹏，冀浩然，等 . 考虑多类型资源的数据中心园区供电协调规划［J］. 电力系统自动化， 2022 ， 46 （ 14 ）： 19 - 28 .

Wang Yang ， Li Peng ， Ji Haoran ， et al . Coordination planning of power supply in data center park considering multiple resources ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 14 ）： 19 - 28 .

Hou H ， Ismail A ， Maxwell C . Ecopycsim： a multi-agent reinforcement learning simulator for energy-efficient cloud job scheduling ［EB/OL］. ［ 2025-08-05 ］. https：//www.ssrn.com/abstract=5020937 https://www.ssrn.com/abstract=5020937 .

李彬，杜亚彬，曹望璋，等 . 计及负载特性的数据中心微电网双层优化配置［J］. 电力工程技术， 2023 ， 42 （ 2 ）： 75 - 83 .

Li Bin ， Du Yabin ， Cao Wangzhang ， et al . Bi-level optimal configuration of microgrid in data center considering load characteristics ［J］. Electric Power Engineering Technology ， 2023 ， 42 （ 2 ）： 75 - 83 .

Liu Z Y ， Lan Q ， Huang K B . Over-the-air fusion of sparse spatial features for integrated sensing and edge AI over broadband channels ［J］. IEEE Transactions on Wireless Communications ， 2025 ， 24 （ 4 ）： 2999 - 3013 .

Marwan M ， Ait Temghart A ， Ouhmi S ， et al . Security， QoS and energy aware optimization of cloud-edge data centers using game theory and homomorphic encryption： modeling and formal verification ［J］. Results in Engineering ， 2024 ， 24 ： 102902 .

丁肇豪，曹雨洁，张素芳，等 . 能源互联网背景下数据中心与电力系统协同优化（一）：数据中心能耗模型［J］. 中国电机工程学报， 2022 ， 42 （ 9 ）： 3161 - 3176 .

Ding Zhaohao ， Cao Yujie ， Zhang Sufang ， et al . Coordinated operation for data center and power system in the context of energy Internet （Ⅰ）： energy demand management model of data center ［J］. Proceedings of the CSEE ， 2022 ， 42 （ 9 ）： 3161 - 3176 .

丁巧宜，王梓耀，潘振宁，等 . 面向电量-调频-容量市场的数据中心园区算力及电力资源规划［J］. 电力系统自动化， 2024 ， 48 （ 1 ）： 59 - 66 .

Ding Qiaoyi ， Wang Ziyao ， Pan Zhenning ， et al . Planning of computing power and electricity resources in data center parks for energy， frequency regulation， and capacity markets ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 1 ）： 59 - 66 .

Thotakura Y C ， Gollapalli G S S ， Yarramsetty D M ， et al . An efficient task scheduling for latency sensitive tasks in edge-cloud computing environment ［C］// 15th International Conference on Computing Communication and Networking Technologies ， 2024 .

Tang C G ， Ding Y ， Xiao S ， et al . Joint optimization of service caching task offloading and resource allocation in cloud-edge cooperative network ［C］// ICC 2024-IEEE International Conference on Communications ， 2024 .

曾磊，白金明，刘琦 . 多群落粒子群优化供应链数据中心任务调度［J］. 应用科学学报， 2023 ， 41 （ 3 ）： 419 - 430 .

Zeng Lei ， Bai Jinming ， Liu Qi . Multi-swarm particle swarm optimization for task scheduling in supply chain datacenter ［J］. Journal of Applied Sciences ， 2023 ， 41 （ 3 ）： 419 - 430 .

周吟雨，董厚琦，曾博，等 . 考虑灵活性潜力的互联网数据中心与配电网双层协同规划方法［J］. 电力系统保护与控制， 2022 ， 50 （ 24 ）： 49 - 59 .

Zhou Yinyu ， Dong Houqi ， Zeng Bo ， et al . Bi-level approach to Internet data-center and distribution network collaborative planning considering the potential of flexibilities ［J］. Power System Protection and Control ， 2022 ， 50 （ 24 ）： 49 - 59 .

刘祎泽，向月 . 计及负荷转移需求响应的低碳数据中心光储容量优化配置［J］. 电力自动化设备， 2024 ， 44 （ 7 ）： 149 - 155 .

Liu Yize ， Xiang Yue . Optimal allocation of photovoltaic and storage capacity in low carbon data center considering load transfer demand response ［J］. Electric Power Automation Equipment ， 2024 ， 44 （ 7 ）： 149 - 155 .

可思为，董萍，马铭宇，等 . 考虑风光荷时空互补的多能源绿色数据中心多目标配置方法［J］. 电力系统保护与控制， 2024 ， 52 （ 22 ）： 22 - 33 .

Ke Siwei ， Dong Ping ， Ma Mingyu ， et al . A multi-objective allocation method for multi-energy green data centers considering wind， solar and load spatial-temporal complementarity ［J］. Power System Protection and Control ， 2024 ， 52 （ 22 ）： 22 - 33 .

Kozlov O M ， Stamatakis A . EcoFreq： compute with cheaper， cleaner energy via carbon-aware power scaling ［C］// ISC High Performance 2024 Research Paper Proceedings （39th International Conference）， 2024 .

Wang S Y ， Qian Z Z ， Yuan J B ， et al . A DVFS based energy-efficient tasks scheduling in a data center ［J］. IEEE Access ， 2017 ， 5 ： 13090 - 13102 .

Wu C M ， Chang R S ， Chan H Y . A green energy-efficient scheduling algorithm using the DVFS technique for cloud datacenters ［J］. Future Generation Computer Systems ， 2014 ， 37 ： 141 - 147 .

Yang W B ， Zhao M Q ， Li J B ， et al . Energy-efficient DAG scheduling with DVFS for cloud data centers ［J］. The Journal of Supercomputing ， 2024 ， 80 （ 10 ）： 14799 - 14823 .

Asghari A ， Sohrabi M K . Combined use of coral reefs optimization and multi-agent deep Q-network for energy-aware resource provisioning in cloud data centers using DVFS technique ［J］. Cluster Computing ， 2022 ， 25 （ 1 ）： 119 - 140 .

Kahil H ， Sharma S ， Välisuo P ， et al . Reinforcement learning for data center energy efficiency optimization： a systematic literature review and research roadmap ［J］. Applied Energy ， 2025 ， 389 ： 125734 .

Cheng H X ， Luo Y X ， Zhang L ， et al . A reinforcement learning-based traffic engineering algorithm for enterprise network backbone links ［J］. Electronics ， 2024 ， 13 （ 8 ）： 1441 .

Toumi N ， Bagaa M ， Ksentini A . Hierarchical multi-agent deep reinforcement learning for SFC placement on multiple domains ［C］// IEEE 46th Conference on Local Computer Networks （LCN）， 2021 .

Liu J ， Du Y ， Yang K ， et al . Edge-cloud collaborative computing on distributed intelligence and model optimization： a survey ［PP/OL］. ［ 2025-08-05 ］. https：//arxiv.org/abs/2505.01821 https://arxiv.org/abs/2505.01821 .

文淅宇，朱继忠，李盛林，等 . 基于时空协同的多数据中心虚拟电厂低碳经济调度策略［J］. 电力系统自动化， 2024 ， 48 （ 18 ）： 56 - 65 .

Wen Xiyu ， Zhu Jizhong ， Li Shenglin ， et al . Low-carbon economic dispatch for multiple data center virtual power plant based on spatio-temporal collaboration ［J］. Automation of Electric Power Systems ， 2024 ， 48 （ 18 ）： 56 - 65 .

Hogade N ， Pasricha S . A survey on machine learning for geo-distributed cloud data center management ［J］. IEEE Transactions on Sustainable Computing ， 2022 ， 8 （ 1 ）： 15 - 31 .

Cao X ， Zhang J ， Poor H V . Data center demand response with on-site renewable generation： a bargaining approach ［J］. IEEE/ACM Transactions on Networking ， 2018 ， 26 （ 6 ）： 2707 - 2720 .

曾博，孟自帅，董嘉路，等 . 考虑电-水耦合灵活性的数据中心与城市配电-水网协同规划研究［J］. 电工技术学报， 2025 ， 40 （ 23 ）： 7554 - 7569

Zeng Bo ， Meng Zishuai ， Dong Jialu ， et al . Research on synergistic planning of data center and urban electricity-water distribution networks considering electricity-water interdependent flexibility ［J］. Transactions of China Electrotechnical Society ， 2025 ， 40 （ 23 ）： 7554 - 7569 .

Van De Voort T ， Zavrel V ， Galdiz I T ， et al . Analysis of performance metrics for data center efficiency ［J/OL］. REHVA Journal ， 2025-08-05 . https：//www.rehva.eu/fileadmin/REHVA_Journal/REHVA_Journal_2017/RJ1/p.05/05-11_RJ 1701_WEB.pdf https://www.rehva.eu/fileadmin/REHVA_Journal/REHVA_Journal_2017/RJ1/p.05/05-11_RJ1701_WEB.pdf .

Park S ， Park J ， Shin D ， et al . Accurate modeling of the delay and energy overhead of dynamic voltage and frequency scaling in modern microprocessors ［J］. IEEE Transactions on Computer-aided Design of Integrated Circuits and Systems ， 2013 ， 32 （ 5 ）： 695 - 708 .

Govindan S ， Sivasubramaniam A ， Urgaonkar B . Benefits and limitations of tapping into stored energy for datacenters ［C］// 38th Annual International Symposium on Computer Architecture ， 2011 .

Ismail L ， Abed E H . Linear power modeling for cloud data centers： taxonomy， locally corrected linear regression， simulation framework and evaluation ［J］. IEEE Access ， 2019 ， 7 ： 175003 - 175019 .

Xiao W H ， Bao W D ， Zhu X M ， et al . Dynamic request redirection and resource provisioning for cloud-based video services under heterogeneous environment ［J］. IEEE Transactions on Parallel and Distributed Systems ， 2016 ， 27 （ 7 ）： 1954 - 1967 .

王丹阳，张沈习，程浩忠，等 . 考虑数据中心用能时空可调的多区域能源站协同规划［J］. 电力系统自动化， 2023 ， 47 （ 3 ）： 77 - 85 .

Wang Danyang ， Zhang Shenxi ， Cheng Haozhong ， et al . Coordinated planning of multi-regional energy stations considering spatio-temporal adjustment of energy consumption in data centers ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 3 ）： 77 - 85 .

周劼英，张晓，邵立嵩，等 . 新型电力系统网络安全防护挑战与展望［J］. 电力系统自动化， 2023 ， 47 （ 8 ）： 15 - 24 .

Zhou Jieying ， Zhang Xiao ， Shao Lisong ， et al . Challenges and prospects of cyber security protection for new power system ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 8 ）： 15 - 24 .

Hu H ， Wen Y G ， Yin L ， et al . Coordinating workload scheduling of geo-distributed data centers and electricity generation of smart grid ［J］. IEEE Transactions on Services Computing ， 2020 ， 13 （ 6 ）： 1007 - 1020 .

Byeon H . Advances in value-based， policy-based， and deep learning-based reinforcement learning ［J］. International Journal of Advanced Computer Science and Applications ， 2023 ， 14 （ 8 ）： 0140838 .

Leyffer S . Deterministic methods for mixed integer nonlinear programming ［D］. Dundee ： University of Dundee ， 1993 .

Chen Y A ， Basciftci B ， Thomas V M . Chance-constrained multi-stage stochastic energy system expansion planning with demand satisfaction flexibility ［J］. International Journal of Electrical Power & Energy Systems ， 2024 ， 155 ： 109499 .

蒲天骄，杜帅，李烨，等 . 面向隐私保护基于联邦强化学习的分布式电源协同优化策略［J］. 电力系统自动化， 2023 ， 47 （ 8 ）： 62 - 70 .

Pu Tianjiao ， Du Shuai ， Li Ye ， et al . Collaborative optimization strategy of distributed generators based on federated reinforcement learning for privacy preservation ［J］. Automation of Electric Power Systems ， 2023 ， 47 （ 8 ）： 62 - 70 .

Moazzen F ， Hossain M J . Multivariate deep learning long short-term memory-based forecasting for microgrid energy management systems ［J］. Energies ， 2024 ， 17 （ 17 ）： 4360 .

Real A C ， Luz G P ， Sousa J M C ， et al . Optimization of a photovoltaic-battery system using deep reinforcement learning and load forecasting ［J］. Energy and AI ， 2024 ， 16 ： 100347 .

Silver D ， Lever G ， Heess N ， et al . Deterministic policy gradient algorithms ［EB/OL］. ［ 2025-08-08 ］. https：//www.semanticscholar.org/paper/Deterministic-Policy-Gradient-Algo rithms-Silver-Lever/687d0e59d5c35f022ce4638b3e3a6142068e fc94？p2df https://www.semanticscholar.org/paper/Deterministic-Policy-Gradient-Algorithms-Silver-Lever/687d0e59d5c35f022ce4638b3e3a6142068efc94?p2df .

Ratzenböck S . Background studies and machine learning methods applied to the analysis of central exclusive production events in ALICE ［D］. Wien ， 2018 .

Hogade N ， Pasricha S ， Siegel H J . Energy and network aware workload management for geographically distributed data centers ［J］. IEEE Transactions on Sustainable Computing ， 2022 ， 7 （ 2 ）： 400 - 413 .

Rahman A ， Liu X ， Kong F X . A survey on geographic load balancing based data center power management in the smart grid environment ［J］. IEEE Communications Surveys & Tutorials ， 2014 ， 16 （ 1 ）： 214 - 233 .

Dulac-Arnold G ， Evans R ， Van Hasselt H ， et al . Deep reinforcement learning in large discrete action spaces ［PP/OL］. ［ 2025-08-05 ］. https：//arxiv.org/abs/1512.07679 https://arxiv.org/abs/1512.07679 .

Garcia J ， Fernández F . A comprehensive survey on safe reinforcement learning ［J］. Journal of Machine Learning Research ， 2015 ， 16 （ 1 ）： 1437 - 1480 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Coordinated Scheduling of Computing Power and Electric Power in Data Centers Considering Adaptive Adjustment of Computing Resources

Method and Practice of Computing Power-Electric Power Coordination Based on Idle Computing Power Scheduling

Review of Integration Mechanism of Data Centers and Energy Storage for Computing Power-Electric Power Coordination

Multi-level Scheduling Cooperative Mode Based on Projection from Global to Local Operating Space

Planning of Computing Power and Electric Power Resources in Data Center Parks for Electricity, Frequency Regulation and Capacity Markets

Related Author

ZHANG Yangyang

TU Zhenghong

XU Ying

YI Zhongkai

LIN Chenhao

FU Zhi

ZHENG Bowen

LIU Xiaochen

Related Institution

School of Electrical Engineering and Automation, Harbin Institute of Technology

Department of Building Science, Tsinghua University

Beijing Gongji Technology Co., Ltd.

China Unicom Guangdong Branch

School of Electric Power Engineering, South China University of Technology

⁰