随着移动互联网技术与信息技术的高速发展,传统的纸质文献正在逐步被电子文献取代,这种进步在极大程度上减少了科研人员在获取文献资料时需要投入的时间与精力。专业领域术语识别是一项从特定专业领域的文本语料库中发现该领域专业词汇的任务,对电子文献的语义分析以及文本语料库的快速检索都具有重要意义。当前主流的专业领域术语识别过程主要依靠统计学和语言学的结合来完成术语的提取与识别过程,好的识别方法往往来源于几种简单的术语识别算法的结合。目前的术语识别技术主要依赖于传统的统计学方法,一些研究人员已经开始探究深度神经网络在术语识别过程中的应用,但尚未形成完整的可操作系统。因此,本文基于深度学习技术,设计并实现了一个可扩展、可灵活实施的专业领域术语识别系统。本文主要包括以下几方面工作:(1)基于N-gram模型对原始文本进行预处理,将完整的文章用特殊标识切分成细小的文字片段。(2)提出了一种基于注意力机制的双向长短期记忆神经网络模型提取文字片段中的术语,并引入条件随机场模型提升网络对长单词的识别准确率。(3)基于信息熵提出了一种术语可信度计算方法,提升系统对当前专业领域术语的识别准确率。(4)引入字向量模型和支持向量机(SVM)对提取出的术语自动分类。实验结果显示,本系统能够有效地从原始文本中自动提取专业领域术语,并依据原有术语库对提取结果进行分类,能够大幅度地减少构建术语库过程中的人工操作。
