Ultra-short-term Load Forecasting Based on Temporal Convolutional Network Considering Temporal Feature Extraction and Dual Attention Fusion

ZHOU Sisi; LI Yong; GUO Yixiu; QIAO Xuebo; MEI Yujie; DENG Wei

doi:10.7500/AEPS20221202003

您当前的位置：

首页 >

文章列表页 >

Ultra-short-term Load Forecasting Based on Temporal Convolutional Network Considering Temporal Feature Extraction and Dual Attention Fusion

Basic Research | 更新时间：2025-06-16

- Ultra-short-term Load Forecasting Based on Temporal Convolutional Network Considering Temporal Feature Extraction and Dual Attention Fusion
- Automation of Electric Power Systems Vol. 47, Issue 18, Pages: 193-205(2023)
- 作者机构：
  
  1.湖南大学电气与信息工程学院,湖南省长沙市 410082
  2.南方电网科学研究院有限责任公司,广东省广州市 510663
  3.国网湖南省电力有限公司电力科学研究院,湖南省长沙市 410007
- 作者简介：
- 基金信息：
  
  International Science and Technology Cooperation Program of China(2022YFE0129300);National Nature Science Foundation of China(U22B20104)
- DOI：10.7500/AEPS20221202003
  CLC：
- Received：02 December 2022，
  
  Revised：2023-05-11，
  
  Published Online：17 August 2023，
  
  Published：25 September 2023
- 稿件说明：
移动端阅览
周思思,李勇,郭钇秀等.考虑时序特征提取与双重注意力融合的TCN超短期负荷预测[J].电力系统自动化,2023,47(18):193-205.

ZHOU Sisi,LI Yong,GUO Yixiu,et al.Ultra-short-term Load Forecasting Based on Temporal Convolutional Network Considering Temporal Feature Extraction and Dual Attention Fusion[J].Automation of Electric Power Systems,2023,47(18):193-205.
周思思,李勇,郭钇秀等.考虑时序特征提取与双重注意力融合的TCN超短期负荷预测[J].电力系统自动化,2023,47(18):193-205. DOI： 10.7500/AEPS20221202003.

ZHOU Sisi,LI Yong,GUO Yixiu,et al.Ultra-short-term Load Forecasting Based on Temporal Convolutional Network Considering Temporal Feature Extraction and Dual Attention Fusion[J].Automation of Electric Power Systems,2023,47(18):193-205. DOI： 10.7500/AEPS20221202003.

摘要

为提高配电网超短期负荷预测精度，从特征构建与模型优化两个角度出发，提出一种基于Prophet和双重多头自注意力-时间卷积网络的超短期负荷预测框架。首先，通过Prophet提取负荷序列中隐含的多时间尺度时序特征。然后，基于最大信息系数选择预测模型的输入特征，并采用最佳滑动窗口构建输入矩阵。最后，在时间卷积网络的基础上，引入特征和时序双重多头自注意力，用于挖掘负荷特征矩阵中不同输入特征、不同时间步之间的内部相关性，并为特征、时间步自适应赋权以突出重要信息的影响。基于湖南省某配电网台区负荷数据开展算例分析，消融实验结果表明所构建预测模型的有效性；与多种传统机器学习和深度学习预测模型的对比测试结果表明，所提方法具有更高的负荷预测精度。

Abstract

To improve the accuracy of ultra-short-term load forecasting in the distribution network

this paper proposes an ultra-short-term load forecasting framework based on Prophet and dual muti-head self-attention-temporal convolutional network from two perspectives: feature construction and model optimization. First

the multi-timescale temporal features implied in the load sequence are extracted by Prophet. Then

the input features of the forecasting model are selected based on maximum information coefficient

and the input matrix is constructed by means of the optimal sliding window. Finally

on the basis of temporal convolutional network

the dual multi-head self-attention of features and time-steps are introduced to mine the internal correlation between different input features and different time-steps in the feature matrix

respectively

and the features and time-steps are adaptively weighted to highlight the influence of important information. Case analysis is carried out based on the load data of transformer areas in Hunan Province

China. The results of the ablation experiment demonstrate the effectiveness of the proposed forecasting model. The comparison test results with various traditional machine learning and deep learning forecasting models verify that the proposed method has higher load forecasting accuracy.

关键词

Keywords

references

丁恰，卢建刚，钱玉妹，等 . 一种实用的超短期负荷预测曲线外推方法［J］. 电力系统自动化， 2004 ， 28 （ 16 ）： 83 - 85 .

DING Qia ， LU Jiangang ， QIAN Yumei ， et al . A practical extrapolation method for ultra-short-term load forecasting curve ［J］. Automation of Electric Power Systems ， 2004 ， 28 （ 16 ）： 83 - 85 .

李国庆，刘钊，金国彬，等 . 基于随机分布式嵌入框架及BP神经网络的超短期电力负荷预测［J］. 电网技术， 2020 ， 44 （ 2 ）： 437 - 445 .

LI Guoqing ， LIU Zhao ， JIN Guobin ， et al . Ultra short-term power load forecasting based on randomly distributive embedded framework and BP neural network ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 437 - 445 .

蒋玮，黄丽丽，祁晖，等 . 基于分布式图计算的台区负荷预测技术研究［J］. 中国电机工程学报， 2018 ， 38 （ 12 ）： 3419 - 3430 .

JIANG Wei ， HUANG Lili ， QI Hui ， et al . Research on load forecasting technology of transformer areas based on distributed graph computing ［J］. Proceedings of the CSEE ， 2018 ， 38 （ 12 ）： 3419 - 3430 .

LIN W X ， WU D ， BOULET B . Spatial-temporal residential short-term load forecasting via graph neural networks ［J］. IEEE Transactions on Smart Grid ， 2021 ， 12 （ 6 ）： 5373 - 5384 .

SADAEI H J ， GUIMARÃES F G ， JOSÉ DA SILVA C ， et al . Short-term load forecasting method based on fuzzy time series， seasonality and long memory process ［J］. International Journal of Approximate Reasoning ， 2017 ， 83 ： 196 - 217 .

崔和瑞，彭旭 . 基于ARIMAX模型的夏季短期电力负荷预测［J］. 电力系统保护与控制， 2015 ， 43 （ 4 ）： 108 - 114 .

CUI Herui ， PENG Xu . Summer short-term load forecasting based on ARIMAX model ［J］. Power System Protection and Control ， 2015 ， 43 （ 4 ）： 108 - 114 .

邓带雨，李坚，张真源，等 . 基于EEMD-GRU-MLR的短期电力负荷预测［J］. 电网技术， 2020 ， 44 （ 2 ）： 593 - 602 .

DENG Daiyu ， LI Jian ， ZHANG Zhenyuan ， et al . Short-term electric load forecasting based on EEMD-GRU-MLR ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 593 - 602 .

AMRAL N ， OZVEREN C S ， KING D . Short term load forecasting using Multiple Linear Regression ［C］// 2007 42nd International Universities Power Engineering Conference ， September 4-6 ， 2007 ， Brighton， UK ： 1192 - 1198 .

牛东晓，谷志红，邢棉，等 . 基于数据挖掘的SVM短期负荷预测方法研究［J］. 中国电机工程学报， 2006 ， 26 （ 18 ）： 6 - 12 .

NIU Dongxiao ， GU Zhihong ， XING Mian ， et al . Study on forecasting approach to short-term load of SVM based on data mining ［J］. Proceedings of the CSEE ， 2006 ， 26 （ 18 ）： 6 - 12 .

栗然，刘宇，黎静华，等 . 基于改进决策树算法的日特征负荷预测研究［J］. 中国电机工程学报， 2005 ， 25 （ 23 ）： 36 - 41 .

LI Ran ， LIU Yu ， LI Jinghua ， et al . Study on the daily characteristic load forecasting based on the optimized algorithm of decision tree ［J］. Proceedings of the CSEE ， 2005 ， 25 （ 23 ）： 36 - 41 .

吴潇雨，和敬涵，张沛，等 . 基于灰色投影改进随机森林算法的电力系统短期负荷预测［J］. 电力系统自动化， 2015 ， 39 （ 12 ）： 50 - 55 .

WU Xiaoyu ， HE Jinghan ， ZHANG Pei ， et al . Power system short-term load forecasting based on improved random forest with grey relation projection ［J］. Automation of Electric Power Systems ， 2015 ， 39 （ 12 ）： 50 - 55 .

谷云东，马冬芬，程红超 . 基于相似数据选取和改进梯度提升决策树的电力负荷预测［J］. 电力系统及其自动化学报， 2019 ， 31 （ 5 ）： 64 - 69 .

GU Yundong ， MA Dongfen ， CHENG Hongchao . Power load forecasting based on similar-data selection and improved gradient boosting decision tree ［J］. Proceedings of the CSU-EPSA ， 2019 ， 31 （ 5 ）： 64 - 69 .

李滨，陆明珍 . 考虑实时气象耦合作用的地区电网短期负荷预测建模［J］. 电力系统自动化， 2020 ， 44 （ 17 ）： 60 - 68 .

LI Bin ， LU Mingzhen . Short-term load forecasting modeling of regional power grid considering real-time meteorological coupling effect ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 17 ）： 60 - 68 .

顾默，赵兵，陈昊 . 基于时间卷积网络与图注意力网络的分行业日售电量预测方法［J］. 电网技术， 2022 ， 46 （ 4 ）： 1287 - 1297 .

GU Mo ， ZHAO Bing ， CHEN Hao . Daily electricity sales forecasting by industries based on time convolution network and graph attention network ［J］. Power System Technology ， 2022 ， 46 （ 4 ）： 1287 - 1297 .

陈振宇，刘金波，李晨，等 . 基于LSTM与XGBoost组合模型的超短期电力负荷预测［J］. 电网技术， 2020 ， 44 （ 2 ）： 614 - 620 .

CHEN Zhenyu ， LIU Jinbo ， LI Chen ， et al . Ultra short-term power load forecasting based on combined LSTM-XGBoost model ［J］. Power System Technology ， 2020 ， 44 （ 2 ）： 614 - 620 .

王增平，赵兵，纪维佳，等 . 基于GRU-NN模型的短期负荷预测方法［J］. 电力系统自动化， 2019 ， 43 （ 5 ）： 53 - 58 .

WANG Zengping ， ZHAO Bing ， JI Weijia ， et al . Short-term load forecasting method based on GRU-NN model ［J］. Automation of Electric Power Systems ， 2019 ， 43 （ 5 ）： 53 - 58 .

HUANG Q ， LI J H ， ZHU M S . An improved convolutional neural network with load range discretization for probabilistic load forecasting ［J］. Energy ， 2020 ， 203 ： 117902 .

KONG X Y ， LI C ， ZHENG F ， et al . Improved deep belief network for short-term load forecasting considering demand-side management ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 2 ）： 1531 - 1538 .

穆钢，侯凯元，杨右虹，等 . 负荷预报中负荷规律性评价方法的研究［J］. 中国电机工程学报， 2001 ， 21 （ 10 ）： 96 - 101 .

MU Gang ， HOU Kaiyuan ， YANG Youhong ， et al . Studies on load regularity evaluating method for load forecasting ［J］. Proceedings of the CSEE ， 2001 ， 21 （ 10 ）： 96 - 101 .

穆钢，侯凯元，杨右虹，等 . 一种内蕴误差评价的负荷预报方法［J］. 电力系统自动化， 2001 ， 25 （ 22 ）： 37 - 40 .

MU Gang ， HOU Kaiyuan ， YANG Youhong ， et al . Load forecasting method based on intrinsic error evaluation ［J］. Automation of Electric Power Systems ， 2001 ， 25 （ 22 ）： 37 - 40 .

谢宏，陈志业，牛东晓，等 . 基于小波分解与气象因素影响的电力系统日负荷预测模型研究［J］. 中国电机工程学报， 2001 ， 21 （ 5 ）： 6 - 12 .

XIE Hong ， CHEN Zhiye ， NIU Dongxiao ， et al . The research of daily load forecasting model based on wavelet decomposing and climatic influence ［J］. Proceedings of the CSEE ， 2001 ， 21 （ 5 ）： 6 - 12 .

刘建华，李锦程，杨龙月，等 . 基于EMD-SLSTM的家庭短期负荷预测［J］. 电力系统保护与控制， 2019 ， 47 （ 6 ）： 40 - 47 .

LIU Jianhua ， LI Jincheng ， YANG Longyue ， et al . Short-term household load forecasting based on EMD-SLSTM ［J］. Power System Protection and Control ， 2019 ， 47 （ 6 ）： 40 - 47 .

WANG D Y ， YUE C Q ， ELAMRAOUI A . Multi-step-ahead electricity load forecasting using a novel hybrid architecture with decomposition-based error correction strategy ［J］. Chaos ， Solitons & Fractals， 2021 ， 152 ： 111453 .

ZHANG Q ， WU J J ， MA Y ， et al . Short-term load forecasting method with variational mode decomposition and stacking model fusion ［J］. Sustainable Energy， Grids and Networks ， 2022 ， 30 ： 100622 .

张锋，吴劲晖，张怡，等 . 基于负荷趋势的新型超短期负荷预测法［J］. 电网技术， 2004 ， 28 （ 19 ）： 64 - 67 .

ZHANG Feng ， WU Jinhui ， ZHANG Yi ， et al . A novel ultra-short term load forecasting based on load trend ［J］. Power System Technology ， 2004 ， 28 （ 19 ）： 64 - 67 .

杨争林，唐国庆，宋燕敏，等 . 改进的基于聚类分析的超短期负荷预测方法［J］. 电力系统自动化， 2005 ， 29 （ 24 ）： 83 - 86 .

YANG Zhenglin ， TANG Guoqing ， SONG Yanmin ， et al . Improved cluster analysis based ultra-short term load forecasting method ［J］. Automation of Electric Power Systems ， 2005 ， 29 （ 24 ）： 83 - 86 .

路轶，王民昆 . 基于短期负荷预测的超短期负荷预测曲线外推法［J］. 电力系统自动化， 2006 ， 30 （ 16 ）： 102 - 104 .

LU Yi ， WANG Minkun . Extrapolation method of ultra-short-term load forecasting curve based on short-term load forecasting ［J］. Automation of Electric Power Systems ， 2006 ， 30 （ 16 ）： 102 - 104 .

崔航，王冕，罗贵明，等 . 基于扩展时序距离法和自适应控制的超短期负荷预测［J］. 电力系统自动化， 2009 ， 33 （ 15 ）： 38 - 42 .

CUI Hang ， WANG Mian ， LUO Guiming ， et al . Ultra-short-term load forecasting based on extended sequence distance method and adaptive control ［J］. Automation of Electric Power Systems ， 2009 ， 33 （ 15 ）： 38 - 42 .

GUAN C ， LUH P B ， MICHEL L D ， et al . Very short-term load forecasting： wavelet neural networks with data pre-filtering ［J］. IEEE Transactions on Power Systems ， 2013 ， 28 （ 1 ）： 30 - 41 .

张宇帆，艾芊，林琳，等 . 基于深度长短时记忆网络的区域级超短期负荷预测方法［J］. 电网技术， 2019 ， 43 （ 6 ）： 1884 - 1892 .

ZHANG Yufan ， AI Qian ， LIN Lin ， et al . A very short-term load forecasting method based on deep LSTM RNN at zone level ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1884 - 1892 .

刘亚珲，赵倩 . 基于聚类经验模态分解的CNN-LSTM超短期电力负荷预测［J］. 电网技术， 2021 ， 45 （ 11 ）： 4444 - 4451 .

LIU Yahui ， ZHAO Qian . Ultra-short-term power load forecasting based on cluster empirical mode decomposition of CNN-LSTM ［J］. Power System Technology ， 2021 ， 45 （ 11 ）： 4444 - 4451 .

TAN M ， YUAN S P ， LI S H ， et al . Ultra-short-term industrial power demand forecasting using LSTM based hybrid ensemble learning ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 4 ）： 2937 - 2948 .

王新，孟玲玲 . 基于EEMD-LSSVM的超短期负荷预测［J］. 电力系统保护与控制， 2015 ， 43 （ 1 ）： 61 - 66 .

WANG Xin ， MENG Lingling . Ultra-short-term load forecasting based on EEMD-LSSVM ［J］. Power System Protection and Control ， 2015 ， 43 （ 1 ）： 61 - 66 .

吴越强，吴文传，李飞，等 . 基于鲁棒Holt-Winter模型的超短期配变负荷预测方法［J］. 电网技术， 2014 ， 38 （ 10 ）： 2810 - 2815 .

WU Yueqiang ， WU Wenchuan ， LI Fei ， et al . Ultra-short term load forecasting using robust Holt-Winter in distribution network ［J］. Power System Technology ， 2014 ， 38 （ 10 ）： 2810 - 2815 .

ZENG W H ， LI J R ， SUN C C ， et al . Ultra short-term power load forecasting based on similar day clustering and ensemble empirical mode decomposition ［J］. Energies ， 2023 ， 16 （ 4 ）： 1989 .

LIANG S K ， DENG T ， HUANG A N ， et al . Energy consumption prediction using the GRU-MMattention-LightGBM model with features of Prophet decomposition ［J］. PLoS One ， 2023 ， 18 （ 1 ）： e0277085 .

MO J Y ， WANG R ， CAO M D ， et al . A hybrid temporal convolutional network and Prophet model for power load forecasting ［J］. Complex & Intelligent Systems ， 2022 ： 1 - 13 .

LI Y J ， YANG Y ， ZHU K ， et al . Clothing sale forecasting by a composite GRU-prophet model with an attention mechanism ［J］. IEEE Transactions on Industrial Informatics ， 2021 ， 17 （ 12 ）： 8335 - 8344 .

THEODOSIOU M . Forecasting monthly and quarterly time series using STL decomposition ［J］. International Journal of Forecasting ， 2011 ， 27 （ 4 ）： 1178 - 1195 .

BERGMEIR C ， HYNDMAN R J ， BENÍTEZ J M . Bagging exponential smoothing methods using STL decomposition and Box-Cox transformation ［J］. International Journal of Forecasting ， 2016 ， 32 （ 2 ）： 303 - 312 .

GUO Y X ， LI Y ， QIAO X B ， et al . BiLSTM multitask learning-based combined load forecasting considering the loads coupling relationship for multienergy system ［J］. IEEE Transactions on Smart Grid ， 2022 ， 13 （ 5 ）： 3481 - 3492 .

孙书凯，董存，王铮，等 . 考虑不同风能特征的风电中长期电量预测方法［J］. 高电压技术， 2021 ， 47 （ 4 ）： 1224 - 1233 .

SUN Shukai ， DONG Cun ， WANG Zheng ， et al . Medium-long-term quantity of electricity forecasting method in wind power considering different wind energy characteristics ［J］. High Voltage Engineering ， 2021 ， 47 （ 4 ）： 1224 - 1233 .

WANG Y Y ， CHEN J ， CHEN X Q ， et al . Short-term load forecasting for industrial customers based on TCN-LightGBM ［J］. IEEE Transactions on Power Systems ， 2021 ， 36 （ 3 ）： 1984 - 1997 .

杨国华，郑豪丰，张鸿皓，等 . 基于Holt-Winters指数平滑和时间卷积网络的短期负荷预测［J］. 电力系统自动化， 2022 ， 46 （ 6 ）： 73 - 82 .

YANG Guohua ， ZHENG Haofeng ， ZHANG Honghao ， et al . Short-term load forecasting based on Holt-Winters exponential smoothing and temporal convolutional network ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 6 ）： 73 - 82 .

SONG Y ， GAO S Y ， LI Y B ， et al . Distributed attention-based temporal convolutional network for remaining useful life prediction ［J］. IEEE Internet of Things Journal ， 2021 ， 8 （ 12 ）： 9594 - 9602 .

苏向敬，周汶鑫，李超杰，等 . 基于双重注意力LSTM神经网络的可解释海上风电出力预测［J］. 电力系统自动化， 2022 ， 46 （ 7 ）： 141 - 151 .

SU Xiangjing ， ZHOU Wenxin ， LI Chaojie ， et al . Interpretable offshore wind power output forecasting based on long short-term memory neural network with dual-stage attention ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 7 ）： 141 - 151 .

任欢，王旭光 . 注意力机制综述［J］. 计算机应用， 2021 ， 41 （增刊1 ）： 1 - 6 .

REN Huan ， WANG Xuguang . Review of attention mechanism ［J］. Journal of Computer Applications ， 2021 ， 41 （ Supplement 1 ）： 1 - 6 .

ASHISH V ， NOAM S ， NIKI P ， at al . Attention is all you need ［C］// Conference on Neural Information Processing Systems ， December 4-9 ， 2017 ， Long Beach， USA .

杨智宇，刘俊勇，刘友波，等 . 基于自适应深度信念网络的变电站负荷预测［J］. 中国电机工程学报， 2019 ， 39 （ 14 ）： 4049 - 4061 .

YANG Zhiyu ， LIU Junyong ， LIU Youbo ， et al . Transformer load forecasting based on adaptive deep belief network ［J］. Proceedings of the CSEE ， 2019 ， 39 （ 14 ）： 4049 - 4061 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Ultra-short-term Load Forecasting Considering Missing Data in Anomalous Scenarios

Short-term Load Forecasting of Distribution Network Based on Combination of Siamese Network and Long Short-term Memory Network

高比例可再生能源电力系统的关键科学问题与理论研究框架

Related Author

LI Jiawen

SUN Yonghui

WANG Sen

ZHANG Ziwei

WANG Yao

Leijiao GE

Kang ZHAO

Yonghui SUN

Related Institution

College of Artificial Intelligence and Automation, Hohai University

School of Applied Technology, Nanjing Institute of Technology

Key Laboratory of the Ministry of Education on Smart Power Grids, Tianjin University

College of Electrical Engineering and Automation, Shandong University of Science and Technology

College of Energy and Electrical Engineering, Hohai University

⁰