基于BERT-IDCNN-CRF的中文命名实体识别方法

被引：159

作者：

李妮 ^{[1
]}

关焕梅 ^{[2
]}

杨飘 ^{[2
]}

董文永 ^{[2
]}

机构：

[1] 中国电力科学研究院有限公司电网环境保护国家重点实验室

[2] 武汉大学计算机学院

来源：

山东大学学报(理学版) | 2020年 / 55卷 / 01期

关键词：

中文命名实体识别; BERT模型; 膨胀卷积; 条件随机场; 信息安全;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

120506 [数字人文];

摘要：

预训练语言模型能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,在自然语言处理中有着广泛的应用,BERT(bidirectional encoder representations from transformers)预训练语言模型是其中之一。在基于BERT微调的命名实体识别方法中,存在的问题是训练参数过多,训练时间过长。针对这个问题提出了基于BERT-IDCNN-CRF(BERT-iterated dilated convolutional neural network-conditional random field)的中文命名实体识别方法,该方法通过BERT预训练语言模型得到字的上下文表示,再将字向量序列输入IDCNN-CRF模型中进行训练,训练过程中保持BERT参数不变,只训练IDCNN-CRF部分,在保持多义性的同时减少了训练参数。实验表明,该模型在MSRA语料上F1值能够达到94.41%,在中文命名实体任务上优于目前最好的Lattice-LSTM模型,提高了1.23%;与基于BERT微调的方法相比,该方法的F1值略低但是训练时间大幅度缩短。将该模型应用于信息安全、电网电磁环境舆情等领域的敏感实体识别,速度更快,响应更及时。

引用

页码：102 / 109

页数：8