中文命名实体识别是自然语言处理的基础任务,是机器翻译、信息检索、问答系统等技术的基础,研究并实现有效的中文命名实体识别方法是本文的主要研究内容。
本文主要采用基于机器学习的方法完成命名实体识别任务。
首先,通过分析中文人名、地名的特点,以抽取合适的特征;定义科学的特征模板,并建立了一种基于条件随机场(Conditional Random Fields,CRFs)的中文命名实体识别模型。通过对CRFs的识别结果进行分析,发现CRFs模型中给出的错误标记大都拥有较小的边缘概率,用边缘概率定位到CRFs模型中可能的错误标记,并分别引入了概率统计方法和边界模板的方法对这部分标记进行修正,以优化系统的识别效果。实验证明,这两种混合模型的识别效果明显好于单纯的CRFs方法。
另外,提出一种基于Max-Margin Markov Networks模型的地名识别方法。Max-MarginMarkov Networks模型将Max-Margin的思想应用于马尔可夫网络。它综合了支持向量机(Support Vector Machine,SVM)模型和无向图模型的优点。通过地名识别的实验证明,在相同的语料、特征和特征模板的条件下,基于Max-Margin Markov Networks模型的识别效果好于CRFs和SVM模型。
最后,提出了一种基于概率特征函数的CRFs模型。CRFs模型是目前最优秀的机器学习模型之一,它定义的特征函数全部是0、1二值形式的,导致丢失一些有用的概率信息。本文在定义特征函数时融入了概率信息,以强化模型的学习能力,然后基于概率特征函数构造条件随机场。通过命名实体识别的实验证明,在相同的条件下,基于概率特征函数的CRFs比传统的CRFs具有更好的机器学习能力。
本文的研究成果可应用于其它自然语言处理任务中。
