基于CNN-Head Transformer编码器的中文命名实体识别

被引：7

作者：

史占堂 ^{[1
,2
,3
]}

马玉鹏 ^{[1
,2
,3
]}

赵凡 ^{[1
,2
,3
]}

马博 ^{[1
,2
,3
]}

机构：

[1] 中国科学院新疆理化技术研究所

[2] 中国科学院大学

[3] 新疆民族语音语言信息处理实验室

来源：

计算机工程 | 2022年 / 48卷 / 10期

基金：

国家重点研发计划;

关键词：

命名实体识别; 自注意力机制; Transformer编码器; 卷积神经网络; 残差连接;

D O I：

10.19678/j.issn.1000-3428.0062525

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现，但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型，在未使用外部词典和分词工具的基础上，通过自注意力机制捕获全局语义信息，利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量，使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示，并且应用自适应的门控残差连接融合当前层和子层特征，提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明，CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点，具有更高的中文命名实体识别准确性。

引用

页码：73 / 80

页数：8

共 8 条

[1] 基于Transformer编码器的中文命名实体识别模型 [J].

司逸晨 ;

管有庆 .

计算机工程, 2022, 48 (07) :66-72

[2] 结合五笔字形与上下文相关字向量的命名实体识别 [J].

张栋 ;

王铭涛 ;

陈文亮 .

计算机工程, 2021, 47 (03) :94-101

[3]

Glyce: Glyph-vectors for Chinese Character Representations[J] . Wei Wu,Yuxian Meng,Qinghong Han,Muyu Li,Xiaoya Li,Jie Mei,Ping Nie,Xiaofei Sun,Jiwei Li.CoRR . 2019

[4]

Bidirectional LSTM-CRF Models for Sequence Tagging[J] . Zhiheng Huang,Wei Xu,Kai Yu 0001.CoRR . 2015

[5] Learning to forget: Continual prediction with LSTM [J].

Gers, FA ;

Schmidhuber, J ;

Cummins, F .

NEURAL COMPUTATION, 2000, 12 (10) :2451-2471

[6] Backpropagation Applied to Handwritten Zip Code Recognition [J].

LeCun, Y. ;

Boser, B. ;

Denker, J. S. ;

Henderson, D. ;

Howard, R. E. ;

Hubbard, W. ;

Jackel, L. D. .

NEURAL COMPUTATION, 1989, 1 (04) :541-551

[7]

Porous lattice transformer encoder for Chinese NER. XUE M G,YU B W,LIU T W,et al. Proceedings of the 28th International Conference on Computational Linguistics . 2020

[8]

Pre-training with whole word masking for Chinese BERT. CUI Y M,CHE W X,LIU T,et al. https://arxiv. org/abs/1906.08101 . 2021

← 1 →