Reinforcement Learning Based Parameter Adaptive Tuning for Electric Power Data Storage System

Zijian TU; Yingchi MAO; Mingbo WU; Yu CHEN

doi:10.7500/AEPS20210311001

您当前的位置：

首页 >

文章列表页 >

Reinforcement Learning Based Parameter Adaptive Tuning for Electric Power Data Storage System

Application Research | 更新时间：2025-06-16

- Reinforcement Learning Based Parameter Adaptive Tuning for Electric Power Data Storage System
- Automation of Electric Power Systems Vol. 46, Issue 4, Pages: 112-122(2022)
- 作者机构：
  
  1.河海大学计算机与信息学院，江苏省南京市 211100
  2.华能澜沧江水电股份有限公司，云南省昆明市 650214
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China(2018YFC0407105);China Huaneng Group Headquarters(HNKJ19-H12);State Grid Xinyuan Company(SGTYHT/19-JS-217)
- DOI：10.7500/AEPS20210311001
  CLC：
- Received：11 March 2021，
  
  Revised：2021-05-27，
  
  Published Online：11 August 2021，
  
  Published：25 February 2022
- 稿件说明：
移动端阅览
屠子健,毛莺池,吴明波等.基于强化学习的电力数据存储系统参数自适应调优[J].电力系统自动化,2022,46(4):112-122.

TU Zijian,MAO Yingchi,WU Mingbo,et al.Reinforcement Learning Based Parameter Adaptive Tuning for Electric Power Data Storage System[J].Automation of Electric Power Systems,2022,46(4):112-122.
屠子健,毛莺池,吴明波等.基于强化学习的电力数据存储系统参数自适应调优[J].电力系统自动化,2022,46(4):112-122. DOI： 10.7500/AEPS20210311001.

TU Zijian,MAO Yingchi,WU Mingbo,et al.Reinforcement Learning Based Parameter Adaptive Tuning for Electric Power Data Storage System[J].Automation of Electric Power Systems,2022,46(4):112-122. DOI： 10.7500/AEPS20210311001.

摘要

Ceph系统被广泛应用于电力数据的存储，现有数据中心依赖人工经验对存储配置参数进行优化。但是，人工经验无法适应电网的动态变化，准确性低，无法满足激增的电网边缘快速存储与处理需求。针对以上问题，在电力数据存储系统中提出一种基于强化学习的数据负载感知自适应配置参数推荐方法。该方法基于强化学习的马尔可夫链蒙特卡洛采样算法配置参数样本集和相应的集群性能，使用分层建模方法构建性能预测模型，采用集群性能代价函数与负载相似度估算结合算法，提供负载的快速感知和配置参数的持续优化。实验结果表明，采样效率得到有效提升，预测精度优于现有预测模型，满足电力数据采集系统的运行要求，且寻优耗时也低于现有的黑盒参数调优方法。

Abstract

Ceph system has been widely applied in the storage of electric power data. The existing data center relies on the human experience to optimize the storage configuration parameters. However

the human experience is unable to adapt to the dynamic changes of the power grid

and the accuracy is insufficient. Therefore

the rapid storage and processing demands at the edge of the power grid cannot be satisfied. Targeting at the problems above

the data load-aware adaptive configuration parameter recommendation (DACR) method based on reinforcement learning is proposed in the electric power data storage system. This method allocates the parameter sample set and relevant cluster performance by Markov chain Monte Carlo sampling algorithm based on reinforcement learning

and builds the performance prediction model by the hierarchy modeling method. Also

the fast perception of load and continuous optimization of configuration parameters are provided by adopting the combined algorithm of cluster performance cost function and load similarity estimation. The experiment results show that the sampling efficiency is effectively improved and the prediction accuracy is better than that of existing prediction models. This method can satisfy the operation requirements of power data acquisition systems and its optimization time is shorter than that of the existing black box parameter tuning method.

关键词

Keywords

references

翟明玉，王瑾，吴庆曦，等 . 电网调度广域分布式实时数据库系统体系架构和关键技术［J］. 电力系统自动化， 2013 ， 37 （ 2 ）： 67 - 71 .

ZHAI Mingyu ， WANG Jin ， WU Qingxi ， et al . Architecture and key technologies of wide-area distributed real-time database system for power dispatching automation system ［J］. Automation of Electric Power Systems ， 2013 ， 37 （ 2 ）： 67 - 71 .

胡江溢，祝恩国，杜新纲，等 . 用电信息采集系统应用现状及发展趋势［J］. 电力系统自动化， 2014 ， 38 （ 2 ）： 131 - 135 .

HU Jiangyi ， ZHU Enguo ， DU Xingang ， et al . Application status and development trend of electricity consumption information acquisition system ［J］. Automation of Electric Power Systems ， 2014 ， 38 （ 2 ）： 131 - 135 .

彭刘阳，孙元章，徐箭，等 . 基于深度强化学习的自适应不确定性经济调度［J］. 电力系统自动化， 2020 ， 44 （ 9 ）： 33 - 42 .

PENG Liuyang ， SUN Yuanzhang ， XU Jian ， et al . Self-adaptive uncertainty economic dispatch based on deep reinforcement learning ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 9 ）： 33 - 42 .

王祥，谢晶晶，林大朋，等 . 一种基于分布式结构的用电信息采集方法［C］// 电力行业信息化年会， 2018年9 月 15 - 16 日，

银川，中国 .

WANG Xiang ， XIE Jingjing ， LIN Dapeng ， et al . A method of collecting electricity consumption information based on distributed structure ［C］// Informatization Annual Conference of Electric Power Industry ， September 15-16 ， 2018 ， Yinchuan， China .

张林峰，谭湘键，杜凯 . 大规模存储系统可靠性参数最优化分析［J］. 计算机工程与应用， 2013 ， 49 （ 1 ）： 112 - 119 .

ZHANG Linfeng ， TAN Xiangjian ， DU Kai . Optimization analysis of reliability parameters of large-scale storage systems ［J］. Computer Engineering and Applications ， 2013 ， 49 （ 1 ）： 112 - 119 .

程乐峰，余涛，张孝顺，等 . 机器学习在能源与电力系统领域的应用和展望［J］. 电力系统自动化， 2019 ， 43 （ 1 ）： 15 - 31 .

CHENG Lefeng ， YU Tao ， ZHANG Xiaoshun ， et al . Machine learning for energy and electric power systems： state of the art and prospects ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 1 ）： 15 - 31 .

张怡，张恒旭，李常刚，等 . 深度学习在电力系统频率分析与控制中的应用综述［J］. 中国电机工程学报， 2021 ， 41 （ 10 ）： 3392 - 3406 .

ZHANG Yi ， ZHANG Hengxu ， LI Changgang ， et al . Review on deep learning applications in power system frequency analysis and control ［J］. Proceedings of the CSEE ， 2021 ， 41 （ 10 ）： 3392 - 3406 .

周念成，廖建权，王强钢，等 . 深度学习在智能电网中的应用现状分析与展望［J］. 电力系统自动化， 2019 ， 43 （ 4 ）： 180 - 191 .

ZHOU Niancheng ， LIAO Jianquan ， WANG Qianggang ， et al . Analysis and prospect of deep learning application in smart grid ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 4 ）： 180 - 191 .

ZHANG X ， GADDAM S ， CHRONOPOULOS A T . Ceph distributed file system benchmarks on an Openstack cloud ［C］// IEEE International Conference on Cloud Computing in Emerging Markets ， November 25-27 ， 2015 ， Bangalore， India .

VAN D ， PAVLO A ， GORDON G J ， et al . Automatic database management system tuning through large-scale machine learning ［C］// ACM International Conference on Management of Data ， May 14-19 ， 2017 ， Chicago， USA .

YILDIRIM G ， HALLAC İ R ， AYDIN G ， et al . Running genetic algorithms on Hadoop for solving high dimensional optimization problems ［C］// 9th International Conference on Application of Information and Communication Technologies ， October 14-16 ， 2015 ， Rostov on Don， Russia .

HASHIMOTO T B ， YADLOWSKY S ， DUCHI J C . Derivative free optimization via repeated classification ［C］// International Conference on AISTATS ， April 9-11 ， 2018 ， Playa Blanca， Spain .

李野，康重庆，陈新宇 . 综合预测模型及其单一预测方法的联合参数自适应优化［J］. 电力系统自动化， 2010 ， 34 （ 22 ）： 36 - 40 .

LI Ye ， KANG Chongqing ， CHEN Xinyu . Joint adaptive training of parameters in integrated models and related single forecasting methods ［J］. Automation of Electric Power Systems ， 2010 ， 34 （ 22 ）： 33 - 40 .

GAONKAR S ， KEETON K ， MERCHANT A ， et al . Designing dependable storage solutions for shared application environments ［J］. IEEE Transactions on Dependable and Secure Computing ， 2010 ， 7 （ 4 ）： 366 - 380 .

BEHZAD B ， LUU H T ， HUCHETTE J ， et al . Taming parallel I/O complexity with auto-tuning ［C］// International Conference on High Performance Computing ， November 17-21 ， 2013 ， Denver， USA .

YIGITBASI N ， WILLKE T L ， LIAO G ， et al . Towards machine learning-based auto-tuning of MapReduce ［C］// IEEE 21st International Symposium on Modelling， Analysis and Simulation of Computer and Telecommunication Systems ， August 14-16 ， 2013 ， San Francisco， USA .

HERODOTOU H . Towards a distributed multi-tier file system for cluster computing ［C］// IEEE International Conference on Data Engineering Workshops ， May 16-20 ， 2016 ， Helsinki， Finland .

HAROLD L ， HERODOTOU H ， SHIVNATH B . Stubby： a transformation-based optimizer for MapReduce workflows ［J］. Proceedings of the VLDB Endowment ， 2012 ， 5 （ 11 ）： 1196 - 1207 .

YU Z ， BEI Z ， ZHANG H ， et al . RFHOC： a random-forest approach to auto-tuning Hadoop configuration ［J］. IEEE Transactions on Parallel and Distributed Systems ， 2016 ， 27 （ 5 ）： 1470 - 1482 .

LAMA P ， ZHOU X . Automated resource allocation and configuration of MapReduce environment in the cloud ［C］// ACM Symposium on Cloud Computing ， September 16-20 ， 2012 ， San Jose， USA .

OCEANE B ， YAN L ， KENNETH C ， et al . CAPES： unsupervised storage performance tuning using neural network-based deep reinforcement learning ［C］// Super Computing Conference ， November 12-17 ， 2017 ， Denver， USA .

崔莹，刘晓胜，徐殿国 . 基于改进Q学习算法的低压电力线通信组网及维护方法［J］. 电力系统自动化， 2019 ， 43 （ 24 ）： 111 - 118 .

CUI Ying ， LIU Xiaosheng ， XU Dianguo . Low-voltage power line communication networking and maintenance based on improved Q learning algorithm ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 24 ）： 111 - 118 .

张孝顺，李清，余涛，等 . 基于协同一致性迁移Q学习算法的虚拟发电部落AGC功率动态分配［J］. 中国电机工程学报， 2017 ， 37 （ 5 ）： 1455 - 1466 .

ZHANG Xiaoshun ， LI Qing ， YU Tao ， et al . Collaborative consensus transfer Q-learning based dynamic generation dispatch of automatic generation control with virtual generation tribe ［J］. Proceedings of the CSEE ， 2017 ， 37 （ 5 ）： 1455 - 1466 .

孙毅，刘迪，李彬，等 . 深度强化学习在需求响应中的应用［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 183 - 191 .

SUN Yi ， LIU Di ， LI Bin ， et al . Application of deep reinforcement learning in demand response ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 183 - 191 .

ELSAYED D H ， NASR E S ， GHAZALI A E D M ， et al . A new hybrid approach using genetic algorithm and Q-learning for QoS-aware web service composition ［C］// International Conference on Advanced Intelligent Systems and Informatics ， September 9-11 ， 2017 ， Cairo， Egypt .

ZHANG R ， TAO J ， LU R ， et al . Decoupled ARX and RBF neural network modeling using PCA and GA optimization for nonlinear distributed parameter systems ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2018 ， 29 （ 2 ）： 457 - 469 .

温博文，董文瀚，解武杰，等 . 基于改进网格搜索算法的随机森林参数优化［J］. 计算机工程与应用， 2018 ， 54 （ 10 ）： 154 - 157 .

WEN Bowen ， DONG Wenhan ， XIE Wujie ， et al . Random forest parameter optimization based on improved grid search algorithm ［J］. Computer Engineering and Applications ， 2018 ， 54 （ 10 ）： 154 - 157 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Regulation Strategy of Waste Heat Compensation System for Data Center Considering Thermo-Electric Load Mismatch

Review on Accurate Awareness Technology for Characteristics of Diversified Power User Groups in Smart Distribution Network

Multi-modal Data Fusion Mode for Power System and Its Key Technical Issues

Related Author

LI Gang

WANG Chao

LOU Juan

ZHENG Guangyu

ZHANG Hong

LAI Jingang

SUN Yonghui

LIU Hangxu

Related Institution

School of Mechanical and Control Engineering, Baicheng Normal University

Key Laboratory of Modern Power System Simulation and Control & Renewable Energy Technology, Ministry of Education (Northeast Electric Power University)

Key Laboratory of the Ministry of Education on Smart Power Grids(Tianjin University)

School of Energy and Electrical Engineering, Hohai University

School of Artificial Intelligence and Automation, Huazhong University of Science and Technology

⁰