基于最大熵模型的中文人名识别方法研究

命名实体识别一直是自然语言处理领域的研究焦点之一,对信息抽取、问答系统、机器翻译等方面的研究有着十分重要的价值。虽然命名实体识别技术已经相当成熟,然而从评测的结果来看,中文命名实体的识别还远不能满足应用的需求,因为这里存在着技术、资源、应用需求之间有机结合的问题。 中文人名识别是汉语命名实体识别的一个子问题。目前,国内对中文人名识别的研究或者仅限于单纯进行汉语姓名识别,或者仅限于单纯的译名识别,而将汉语姓名和译名统一起来进行识别的研究却还不多,且不能够满足应用的需求。 本文基于最大熵模型,探索性地构建了一个能够对中文文本中各类人名进行统一识别的中文人名识别系统,取得了较好的效果。本文主要研究了以下几个方面的问题: 1.特征抽取及选择。在分析真实语料的基础上,本文提出了适合中文人名的特征集,并通过实验进行特征选择,确定了有效特征。 2.潜在人名发现。本文在传统人名用字概率信息方法的基础上,提出了一种平滑处理机制,保证了潜在人名发现召回率在99%以上;同时通过制定灵活的阈值选取规则,在保证召回率的基础上尽量提高潜在人名发现的精确率,在一定程度上减少了对模型标注的干扰。该方法不仅可召回由单字碎片组成的人名,还适用于人名内部成词和上下文成词的情况。