面向企业图谱构建的中文命名实体识别技术研究

命名实体识别是信息抽取、机器翻译、知识图谱等应用领域的重要基础工具,在自然语言处理技术走向实用化过程中有着重要地位。在中文命名实体识别研究落后于英文命名实体识别研究以及深度学习兴起的背景下,本文面向企业图谱的构建这一目标,基于深度神经网络模型,深入研究了图谱构建过程中涉及的中文命名实体识别技术。论文的主要工作如下:在经典的BiLSTM-CRF命名实体识别模型的基础上融入Self-Attention,提出了SA-BiLSTM-CRF模型。实验证明该模型能够有效提取远距离依赖信息,有着更好的识别效果。并且发现BiLSTM与Self-Attention结合时使用双向结合的方式比单一结合的方式效果更好。验证了SA-BiLSTM-CRF模型中能够较好地通过LSTM学习到单词位置信息而不需要Positin Embedding。发现Multi-Head机制则能够提升模型效果,但是抽头过多容易过拟合。为了将SA-BiLSTM-CRF模型应用于标注语料较少的企业领域,针对标注语料少、深度网络模型难以训练的问题,分别基于迁移学习、自学习、主动学习、自学习与主动学习相结合四种思路提出了四种优化策略。实验验证了四种优化的有效性。同时,在基于迁移学习的优化策略中,发现最适合的迁移学习方式是迁移和微调整个模型的参数。在其他三种优化策略中,发现使用自学习与主动学习相结合的算法能够优势互补,优化效果要比单一使用其中一种算法的效果更好。在SA-BiLSTM-CRF模型的训练流程中,引入基于迁移学习优化策略和基于自学习与主动学习相结合的优化策略,提出了一个适用于企业领域的命名实体识别系统,并完成了企业图谱的构建。