ALICE:一种面向中文科技文本分析的预训练语言表征模型

被引：5

作者：

王英杰

谢彬

李宁波

机构：

[1] 中国电子科技集团公司第三十二研究所

来源：

计算机工程 | 2020年 / 46卷 / 02期

关键词：

预训练模型; 迁移学习; BERT模型; 文本分类; 命名实体识别; 自然语言推断;

D O I：

10.19678/j.issn.1000-3428.0055246

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

深度学习模型应用于自然语言处理任务时依赖大型、高质量的人工标注数据集。为降低深度学习模型对大型数据集的依赖,提出一种基于BERT的中文科技自然语言处理预训练模型ALICE。通过对遮罩语言模型进行改进并将其与命名实体级遮罩相结合,改善基础模型在下游任务中的表现,使其学习到的语言表征更贴合中文的语言特性。实验结果表明,与BERT模型相比,ALICE模型对于中文科技文本的分类准确率和命名实体识别的F1值分别提高1.2%和0.8%。

引用

页码：48 / 52+58 +58

页数：6

共 6 条

[1] 基于联合神经网络模型的中文医疗实体分类与关系抽取 [J].