基于文本特征增强的电力命名实体识别

刘文松; 胡竹青; 张锦辉; 刘雪菁; 林峰; 俞俊

doi:10.7500/AEPS20210323003

您当前的位置：

首页 >

文章列表页 >

基于文本特征增强的电力命名实体识别

研制与开发 | 更新时间：2025-06-16

- 基于文本特征增强的电力命名实体识别
- Named Entity Recognition for Electric Power Industry Based on Enhanced Text Features
- 电力系统自动化 2022年46卷第21期页码：134-142
- 作者机构：
  
  1.南瑞集团有限公司(国网电力科学研究院有限公司),江苏省南京市 211106
  2.江苏瑞中数据股份有限公司,江苏省南京市 211106
- 作者简介：
  
  刘文松(1983—)，男，博士，高级工程师，主要研究方向：信息融合、人工智能技术研发及应用。E-mail：liuwensong1@sgepri.sgcc.com.cn
  胡竹青(1981—)，男，硕士，高级工程师，主要研究方向：系统架构设计及电力数字化。E-mail：huzhuqing@sgepri.sgcc.com.cn
  张锦辉(1994—)，女，硕士，工程师，主要研究方向：自然语言处理、人工智能技术应用。E-mail：zhangjinhui@sgepri.sgcc.com.cn
  俞俊(1978—)，男，通信作者，硕士，研究员级高级工程师，主要研究方向：数字化及智能化架构设计及应用。E-mail：yujun@sgepri.sgcc.com.cn
- 基金信息：
  
  国家重点研发计划资助项目(2017YFB1001800)
- DOI：10.7500/AEPS20210323003
  中图分类号：
- 收稿：2021-03-23，
  
  修回：2021-05-13，
  
  网络出版：2022-09-27，
  
  纸质出版：2022-11-10
- 稿件说明：
移动端阅览
刘文松,胡竹青,张锦辉等.基于文本特征增强的电力命名实体识别[J].电力系统自动化,2022,46(21):134-142.

LIU Wensong,HU Zhuqing,ZHANG Jinhui,et al.Named Entity Recognition for Electric Power Industry Based on Enhanced Text Features[J].Automation of Electric Power Systems,2022,46(21):134-142.
刘文松,胡竹青,张锦辉等.基于文本特征增强的电力命名实体识别[J].电力系统自动化,2022,46(21):134-142. DOI： 10.7500/AEPS20210323003.

LIU Wensong,HU Zhuqing,ZHANG Jinhui,et al.Named Entity Recognition for Electric Power Industry Based on Enhanced Text Features[J].Automation of Electric Power Systems,2022,46(21):134-142. DOI： 10.7500/AEPS20210323003.

摘要

针对电力领域语料规模小、实体嵌套、实体缩写等特点，提出基于文本特征增强的实体识别方法。首先，通过预设词库和低粒度分词的方式，在合理利用中文单词蕴含的语义信息的同时，降低分词传递误差的影响。其次，设计词级双向门控循环单元学习中文单词构造特征，融合词性和词长特征后，与单词向量拼接成为单词增强向量。然后，基于双向门控循环单元-注意力机制-条件随机场完成实体识别模型的构建和训练。在此基础上，采用电力领域语料库进行验证，F1分数为87.02%，证实了电力命名实体识别效果。

Abstract

Considering the characteristics of small scale

nested entities and abbreviated entities for electric corpus

the named entity recognition (NER) method based on enhanced text features is proposed. Firstly

by the way of the low-grain word segment and the preset dictionary

the semantic information in Chinese words is properly utilized

and the transmission errors caused by word segment are decreased. Secondly

the structure features of a single Chinese word are learned by the word-level bidirectional gated recurrent unit (Word BiGRU). Together with the features of the part of speech for words and word length

the enhanced word vector is built by concatenating these feature vectors with word vectors. Finally

the NER model is designed with BiGRU

attention mechanism and conditional random field (CRF). The proposed method is verified by using electric corpus and F1 score reaches 87.02%

which proves the effectiveness of NER for electric power industry.

关键词

Keywords

references

GRISHMAN R ， SUNDHEIM B . Message understanding conference-6： a brief history ［C］// Proceedings of the 16th conference on Computational linguistics ， August 5-9 ， 1996 ， Copenhagen， Denmark ： 466 - 471 .

TOMORI S ， NINOMIYA T ， MORI S . Domain specific named entity recognition referring to the real world by deep neural networks ［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）， August 7-12 ， 2016 ， Berlin， Germany ： 236 - 242 .

李刚，李银强，王洪涛，等 . 电力设备健康管理知识图谱：基本概念、关键技术及研究进展［J］. 电力系统自动化， 2022 ， 46 （ 3 ）： 1 - 13 .

LI Gang ， LI Yinqiang ， WANG Hongtao ， et al . Knowledge graph of power equipment health management： basic concepts， key technologies and research progress ［J］. Automation of Electric Power Systems ， 2022 ， 46 （ 3 ）： 1 - 13 .

戴宇欣，张俊，季知祥，等 . 基于功能缺陷文本的电力系统二次设备智能诊断与辅助决策［J］. 电力自动化设备， 2021 ， 41 （ 6 ）： 184 - 194 .

DAI Yuxin ， ZHANG Jun ， JI Zhixiang ， et al . Intelligent diagnosis and auxiliary decision of power system secondary equipment based on functional defect text ［J］. Electric Power Automation Equipment ， 2021 ， 41 （ 6 ）： 184 - 194 .

丁禹，尚学伟，米为民 . 基于深度学习的电网调控文本知识抽取方法［J］. 电力系统自动化， 2020 ， 44 （ 24 ）： 161 - 168 .

DING Yu ， SHANG Xuewei ， MI Weimin . Deep learning based knowledge extraction method for text of power grid dispatch and control ［J］. Automation of Electric Power Systems ， 2020 ， 44 （ 24 ）： 161 - 168 .

郑伟彦，杨勇，卢家驹，等 . 面向配电网知识图谱的配电调度文本实体链接方法［J］. 电力系统保护与控制， 2021 ， 49 （ 4 ）： 111 - 117 .

ZHENG Weiyan ， YANG Yong ， LU Jiaju ， et al . Entity linking method of distribution dispatching texts for a distribution network knowledge graph ［J］. Power System Protection and Control ， 2021 ， 49 （ 4 ）： 111 - 117 .

MCCALLUM A ， FREITAG D ， PEREIRA F . Maximum entropy Markov models for information extraction and segmentation ［C］// Proceedings of 17th International Conference on Machine Learning ， June 29-July 2 ， 2000 ， Stanford， USA ： 591 - 598 .

ERTEKIN S ， BOTTOU L ， GILES C L . Nonconvex online support vector machines ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2011 ， 33 （ 2 ）： 368 - 381 .

ZHOU J ， HE L ， DAI X ， et al . Chinese named entity recognition with a multi-phase model ［C］// Proceedings of the 5th SIGHAN Workshop on Chinese Language Processing ， July 22-23 ， 2006 ， Sydney， Australia ： 213 - 216 .

韩普，姜杰 . HMM在自然语言处理领域中的应用研究［J］. 计算机技术与发展， 2010 ， 20 （ 2 ）： 245 - 248 .

HAN Pu ， JIANG Jie . Application and research of hidden Markov model in natural language processing domain ［J］. Computer Technology and Development ， 2010 ， 20 （ 2 ）： 245 - 248 .

LAMPLE G ， BALLESTEROS M ， SUBRAMANIAN S ， et al . Neural architectures for named entity recognition ［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies ， June 12-17 ， 2016 ， San Diego， USA ： 260 - 270 .

HUANG Z H ， XU W . Bidirectional LSTM-CRF models for sequence tagging ［EB/OL］. ［ 2021-04-01 ］. https：//arxiv.org/abs/1508.01991 https://arxiv.org/abs/1508.01991

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems ， December 4-9 ， 2017 ， Long Beach， USA ： 6000 - 6010 .

LE Q ， MIKOLOV T . Distributed representations of sentences and documents ［C］// Proceedings of the 31st International Conference on Machine Learning ， June 21-26 ， 2014 ， Beijing， China ： 1188 - 1196 .

PETERS M ， NEUMANN M ， IYYER M ， et al . Deep contextualized word representations ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）， June 1-6 ， 2018 ， New Orleans， USA ： 2227 - 2237 .

DEVLIN J ， CHANG M W ， LEE K ， et al . BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）， June 2-7 ， 2019 ， Minneapolis， USA ： 4171 - 4186 .

储德平，万波，李红，等 . 基于ELMO-CNN-BiLSTM-CRF模型的地质实体识别［J］. 地球科学， 2021 ， 46 （ 8 ）： 3039 - 3048 .

CHU Deping ， WAN Bo ， LI Hong ， et al . Geological entity recognition based on ELMO-CNN-BiLSTM-CRF model ［J］. Earth Science ， 2021 ， 46 （ 8 ）： 3039 - 3048 .

陈剑，何涛，闻英友，等 . 基于BERT模型的司法文书实体识别方法［J］. 东北大学学报（自然科学版）， 2020 ， 41 （ 10 ）： 1382 - 1387 .

CHEN Jian ， HE Tao ， WEN Yingyou ， et al . Entity recognition method for judicial documents based on BERT model ［J］. Journal of Northeastern University （Natural Science）， 2020 ， 41 （ 10 ）： 1382 - 1387 .

CHO K ， VAN MERRIENBOER B ， GULCEHRE C ， et al . Learning phrase representations using RNN encoder–decoder for statistical machine translation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）， October 25-29 ， 2014 ， Doha， Qatar ： 1724 - 1734 .

WANG D Y ， SU J L ， YU H B . Feature extraction and analysis of natural language processing for deep learning English language ［J］. IEEE Access ， 2020 ， 8 ： 46335 - 46345 .

MA X Z ， HOVY E . End-to-end sequence labeling via Bi-directional LSTM-CNNs-CRF ［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）， August 7-12 ， 2016 ， Berlin， Germany ： 239 - 250 .

冀相冰，朱艳辉，徐啸，等 . 基于注意力机制的包装命名实体识别［J］. 包装工程， 2019 ， 40 （ 15 ）： 24 - 29 .

JI Xiangbing ， ZHU Yanhui ， XU Xiao ， et al . Packaging named entity recognition based on attention mechanism ［J］. Packaging Engineering ， 2019 ， 40 （ 15 ）： 24 - 29 .

魏笑，秦永彬，陈艳平 . 一种基于部件CNN的网络安全命名实体识别方法［J］. 计算机与数字工程， 2020 ， 48 （ 1 ）： 106 - 111 .

WEI Xiao ， QIN Yongbin ， CHEN Yanping . A network security named entity recognition method based on the component CNN ［J］. Computer & Digital Engineering ， 2020 ， 48 （ 1 ）： 106 - 111 .

李丽双，郭元凯 . 基于CNN-BLSTM-CRF模型的生物医学命名实体识别［J］. 中文信息学报， 2018 ， 32 （ 1 ）： 116 - 122 .

LI Lishuang ， GUO Yuankai . Biomedical named entity recognition with CNN-BLSTM-CRF ［J］. Journal of Chinese Information Processing ， 2018 ， 32 （ 1 ）： 116 - 122 .

ZHANG Y ， YANG J . Chinese NER using lattice LSTM ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）， July 15-20 ， 2018 ， Melbourne， Australia ： 1554 - 1564 .

杨倩，顾磊 . 基于去噪字词联合模型的中文命名实体识别［J］. 计算机工程与应用， 2021 ， 57 （ 7 ）： 151 - 157 .

YANG Qian ， GU Lei . Chinese named entity recognition based on denoising joint character-word model ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 7 ）： 151 - 157 .

刘文松，胡竹青，张锦辉，等 . 电力科技图谱柔性构建方法［J］. 电力信息与通信技术， 2022 ， 20 （ 3 ）： 12 - 19 .

LIU Wensong ， HU Zhuqing ， ZHANG Jinhui ， et al . Flexible construction method of knowledge graph of power science and technology ［J］. Electric Power Information and Communication Technology ， 2022 ， 20 （ 3 ）： 12 - 19 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据