Identification Method of Load Outlier Based on Density-based Spatial Clustering and Outlier Boundaries

Tianhui ZHAO; Yao ZHANG; Jianxue WANG

doi:10.7500/AEPS20200622003

您当前的位置：

首页 >

文章列表页 >

Identification Method of Load Outlier Based on Density-based Spatial Clustering and Outlier Boundaries

Basic Research | 更新时间：2025-06-16

- Identification Method of Load Outlier Based on Density-based Spatial Clustering and Outlier Boundaries
- Automation of Electric Power Systems Vol. 45, Issue 10, Pages: 97-105(2021)
- 作者机构：
  
  1.陕西省智能电网重点实验室（西安交通大学），陕西省西安市 710049
  2.西安交通大学电气工程学院，陕西省西安市 710049
- 作者简介：
- 基金信息：
  
  National Key R&D Program of China;State Grid Corporation of China;National Natural Science Foundation of China
- DOI：10.7500/AEPS20200622003
  CLC：
- Received：22 June 2020，
  
  Revised：2020-11-21，
  
  Published Online：15 January 2021，
  
  Published：25 May 2021
- 稿件说明：
移动端阅览
赵天辉,张耀,王建学.基于空间密度聚类和异常数据域的负荷异常值识别方法[J].电力系统自动化,2021,45(10):97-105.

ZHAO Tianhui,ZHANG Yao,WANG Jianxue.Identification Method of Load Outlier Based on Density-based Spatial Clustering and Outlier Boundaries[J].Automation of Electric Power Systems,2021,45(10):97-105.
赵天辉,张耀,王建学.基于空间密度聚类和异常数据域的负荷异常值识别方法[J].电力系统自动化,2021,45(10):97-105. DOI： 10.7500/AEPS20200622003.

ZHAO Tianhui,ZHANG Yao,WANG Jianxue.Identification Method of Load Outlier Based on Density-based Spatial Clustering and Outlier Boundaries[J].Automation of Electric Power Systems,2021,45(10):97-105. DOI： 10.7500/AEPS20200622003.

摘要

针对海量电力负荷数据，提出一种基于空间密度聚类和异常数据域的负荷异常值识别方法。首先，基于空间密度聚类方法将负荷曲线按照正常和异常用电模式进行分类，并对正常用电模式中的负荷曲线进行负荷水平分类。然后，在不同负荷水平下，利用负荷期望值的置信区间和负荷样本与样本均值之间偏差的四分位差，构建异常数据域。考虑非典型用电行为的偶然性，引入用电时刻偏移量，对形成的异常数据域进行修正，并构建面向异常用电模式的异常数据域。在算例中，采用居民和工业用户的负荷数据集对所提方法进行检验，相比于传统方法，文中所提方法的识别精确率平均提高了10%以上，综合评价指标平均提高了4%以上。

Abstract

For mass power load data

a method based on density-based spatial clustering and outlier boundaries is proposed to identify the load outlier. Firstly

the density-based spatial clustering method is used to classify load curves into normal and abnormal power consumption patterns. Also

the load curves with normal power consumption pattern are classified into different load levels. Then

the outlier boundaries are built using the confidence interval of load expected value and the inter-quartile range of the deviation between load sample and sample average at different load levels. Considering the contingencies of atypical power consumption behavior

the obtained outlier boundaries are corrected by time offset of power consumption

and outlier boundaries for abnormal power consumption patterns are built. Finally

the proposed method is tested in the example with the load data sets of residential and industrial users. Compared with the traditional method

the precision of the proposed method is improved over 10% on average

and the comprehensive evaluation index is improved over 4% on average.

关键词

Keywords

references

VILLAR-RODRIGUEZ E ， DEL S J ， OREGI I ， et al . Detection of non-technical losses in smart meter data based on load curve profiling and time series analysis ［J］. Energy ， 2017 ， 137 ： 118 - 128 .

张春燕 . 基于数据挖掘的电力负荷异常数据检测与修正研究［D］. 兰州：兰州理工大学， 2019 .

ZHANG Chunyan . Research on detection and correction of power load abnormal data based on data mining ［D］. Lanzhou ： Lanzhou University of Technology ， 2019 .

肖白，徐潇，宋坤，等 . 空间电力负荷预测中异常数据的辨识与处理［J］. 东北电力大学学报， 2013 ， 33 （ 1 ）： 45 - 50 .

XIAO Bai ， XU Xiao ， SONG Kun ， et al . Abnormal data identification and treatment in spatial electric load forecasting ［J］. Journal of Northeast Dianli University ， 2013 ， 33 （ 1 ）： 45 - 50 .

吴越嬴 . 基于数据挖掘的电力系统不良数据检测与辨识算法研究［D］. 南京：南京理工大学， 2017 .

WU Yueying . Research on detecting and identifying bad data of power system based on data mining ［D］. Nanjing ： Nanjing University of Science & Technology ， 2017 .

YUE M ， HONG T ， WANG J . Descriptive analytics based anomaly detection for cybersecure load forecasting ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 6 ）： 5964 - 5974 .

田力，向敏 . 基于密度聚类技术的电力系统用电量异常分析算法［J］. 电力系统自动化， 2017 ， 41 （ 5 ）： 64 - 70 .

TIAN Li ， XIANG Min . Abnormal power consumption analysis based on density-based spatial clustering of applications with noise in power systems ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 5 ）： 64 - 70 .

杨慧霞，邓迎君，刘志斌，等 . 含有历史不良数据的电力负荷预测研究［J］. 电力系统保护与控制， 2017 ， 45 （ 15 ）： 62 - 68 .

YANG Huixia ， DENG Yingjun ， LIU Zhibin ， et al . Study on electric load forecasting with historical bad data ［J］. Power System Protection and Control ， 2017 ， 45 （ 15 ）： 62 - 68 .

TANG G ， WU K ， LEI J ， et al . From landscape to portrait： a new approach for outlier detection in load curve data ［J］. IEEE Transactions on Smart Grid ， 2014 ， 5 （ 4 ）： 1764 - 1773 .

刘凤魁，邓春宇，王晓蓉，等 . 基于改进快速密度峰值聚类算法的电力大数据异常值检测［J］. 电力信息与通信技术， 2017 ， 15 （ 6 ）： 36 - 41 .

LIU Fengkui ， DENG Chunyu ， WANG Xiaorong ， et al . Outlier detection of smart grid big data based on improved fast search and find density peaks clustering algorithm ［J］. Electric Power Information and Communication Technology ， 2017 ， 15 （ 6 ）： 36 - 41 .

林顺富，谢潮，李东东，等 . 基于灰色关联与模糊聚类分析的负荷预处理方法［J］. 电测与仪表， 2017 ， 54 （ 11 ）： 36 - 42 .

LIN Shunfu ， XIE Chao ， LI Dongdong ， et al . Load preprocessing method based on grey relational analysis and fuzzy clustering ［J］. Electrical Measurement & Instrumentation ， 2017 ， 54 （ 11 ）： 36 - 42 .

XIANG M ， RAO H ， TAN T ， et al . Abnormal behavior analysis algorithm for electricity consumption based on density clustering ［J］. The Journal of Engineering ， 2019 （ 10 ）： 7250 - 7255 .

尹星露，肖先勇，孙晓璐 . 母线负荷异常数据复杂不确定性检测与基于综合云的修正模型［J］. 电力自动化设备， 2015 ， 35 （ 6 ）： 117 - 122 .

YIN Xinglu ， XIAO Xianyong ， SUN Xiaolu . Complex uncertainty detection and synthesized cloud correction model for abnormal bus load data ［J］. Electric Power Automation Equipment ， 2015 ， 35 （ 6 ）： 117 - 122 .

赵天辉，王建学，马龙涛，等 . 基于非参数回归分析的工业负荷异常值识别与修正方法［J］. 电力系统自动化， 2017 ， 41 （ 18 ）： 53 - 59 .

ZHAO Tianhui ， WANG Jianxue ， MA Longtao ， et al . Outlier detection and correction method for industrial loads based on nonparametric regression analysis ［J］. Automation of Electric Power Systems ， 2017 ， 41 （ 18 ）： 53 - 59 .

SHARMA D D ， SINGH S N ， LIN J ， et al . Identification and characterization of irregular consumptions of load data ［J］. Journal of Modern Power Systems and Clean Energy ， 2017 ， 5 （ 3 ）： 465 - 477 .

ZHANG W ， DONG X ， LI H ， et al . Unsupervised detection of abnormal electricity consumption behavior based on feature engineering ［J］. IEEE Access ， 2020 ， 8 ： 55483 - 55500 .

NEAGU B C ， GRIGORAS G ， SCARLATACHE F . Outliers discovery from smart meters data using a statistical based data mining approach ［C］// The 10th International Symposium on Advanced Topics in Electricity Engineering ， March 23 - 25 ， 2017 ， Bucharest ， Romania .

MEIRA D A P H ， VILLANUEVA J M M ， MACEDO B H D D . An outliers processing module based on artificial intelligence for substations metering system ［J］. IEEE Transactions on Power Systems ， 2020 ， 35 （ 5 ）： 3400 - 3409 .

FENG Z ， HUANG J ， TANG W H ， et al . Data mining for abnormal power consumption pattern detection based on local matrix reconstruction ［J］. International Journal of Electrical Power & Energy Systems ， 2020 ， 123 ： 106315 .

肖勇，郑楷洪，余忠忠，等 . 基于三次指数平滑模型与DBSCAN聚类的电量数据异常检测［J］. 电网技术， 2020 ， 44 （ 3 ）： 1099 - 1104 .

XIAO Yong ， ZHENG Kaihong ， YU Zhongzhong ， et al . Power data anomaly detection based on Holt-Winters model and DBSCAN clustering ［J］. Power System Technology ， 2020 ， 44 （ 3 ）： 1099 - 1104 .

YANG J ， ZHAO J ， WEN F ， et al . A model of customizing electricity retail prices based on load profile clustering analysis ［J］. IEEE Transactions on Smart Grid ， 2019 ， 10 （ 3 ）： 3374 - 3386 .

徐胜蓝，司曹明哲，万灿，等 . 考虑双尺度相似性的负荷曲线集成谱聚类算法［J］. 电力系统自动化， 2020 ， 44 （ 22 ）： 152 - 160 .

XU Shenglan ， SI Caomingzhe ， WAN Can ， et al . Ensemble spectral clustering algorithm for load profiles considering dual-scale similarities ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 22 ）： 152 - 160 .

ESTER M ， KRIEGEL H P ， SANDER J ， et al . A density-based algorithm for discovering clusters in large spatial databases with noise ［C］// International Conference on Knowledge Discovery & Data Mining ， August 2 - 4 ， 1996 ， Portland ， USA .

陈子豪，李强 . 基于 K -medoids的改进PBFT共识机制［J］. 计算机科学， 2019 ， 46 （ 12 ）： 101 - 107 .

CHEN Zihao ， LI Qiang . Study of improved PBFT consensus mechanism based on K -medoids ［J］. Computer Science ， 2019 ， 46 （ 12 ）： 101 - 107 .

张宇献，郝双，钱小毅 . 基于误差分解和Bootstrap方法的风电功率区间预测［J］. 电网技术， 2019 ， 43 （ 6 ）： 1941 - 1947 .

ZHANG Yuxian ， HAO Shuang ， QIAN Xiaoyi . Interval prediction of wind power based on error decomposition and bootstrap method ［J］. Power System Technology ， 2019 ， 43 （ 6 ）： 1941 - 1947 .

方安然，李旦，张建秋 . 异常值和未知观测噪声鲁棒的非线性滤波器［J/OL］. 航空学报［ 2020-10-22 ］. http：//hkxb.buaa.edu.cn/CN/10.7527/S1000-6893.2020.24675 http://hkxb.buaa.edu.cn/CN/10.7527/S1000-6893.2020.24675 .

FANG Anran ， LI Dan ， ZHANG Jianqiu . A nonlinear filter robust to outlier and unknown observation noise ［J/OL］. Acta Aeronautica et Astronautica Sinica ［ 2020-10-22 ］. http：//hkxb.buaa.edu.cn/CN/10.7527/S1000-6893.2020.24675 http://hkxb.buaa.edu.cn/CN/10.7527/S1000-6893.2020.24675 .

陈建华，戴铁潮，张宁，等 . 确定性合同分解中异常负荷数据的识别与修正［J］. 电力系统自动化， 2009 ， 33 （ 6 ）： 21 - 24 .

CHEN Jianhua ， DAI Tiechao ， ZHANG Ning ， et al . Load outlier identification and correction for deterministic contract decomposition ［J］. Automation of Electric Power Systems ， 2009 ， 33 （ 6 ）： 21 - 24 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Clustering Modeling and Characteristic Analysis of Power Load Based on Long-short-term Memory Auto-encoder

Ensemble Spectral Clustering Algorithm for Load Profiles Considering Dual-scale Similarities

Related Author

Jianxue WANG

Yao ZHANG

Tianhui ZHAO

JIA Kunqi

FAN Shuai

SHAO Yunfei

HUANG Yixuan

HE Guangyu

Related Institution

Shaanxi Key Laboratory of Smart Grid, Xi’an Jiaotong University

Marketing Service Center of State Grid Jiangsu Electric Power Co., Ltd.

Key Laboratory of Control of Power Transmission and Conversion, Ministry of Education (Shanghai Jiao Tong University)

Electric Power Dispatching and Communication Center of State Grid Shanghai Municipal Electric Power Company

National Electric Power Dispatching and Control Center, State Grid Corporation of China

⁰