基于CRF的中文命名实体识别方法研究

作为文本信息中的基本信息元素,命名实体是正确理解文本的基础。命名实体识别就是将文本信息中规定的实体识别出来,它在自然语言处理中是一项基础性的工作,在信息抽取,机器翻译,自动问答等领域有着广泛的应用。本文以中科院网络科技监测平台建设为背景,采用条件随机域模型(CRF),研究中文命名实体的识别方法。 本文通过分析目前命名实体识别的研究现状,详细阐述了近些年来国内外命名实体识别的评测活动;在分析了马尔克夫模型和最大熵模型的基础上,确立了基于条件随机场模型的研究方案。 本文在条件随机场的预处理中,以字的方式作为输入标准,从字的角度来切割文本,以获得更多文本信息的上下文特征;在模型训练中,对不同的模板对文本进行了识别,得到了一个相对较为优化的训练模板,并在训练语料中加入词性的外部特征,通过实验表明,该方法可以弥补训练规模的不足,在一定程度上提高了实体的识别效果。 本文针对中科院网络科技监测平台建设的要求,利用SIGHAN2006 MSRA的语料库,通过对不同模板的测试,采用模式学习方法对不同词的粒度实体进行识别,自动识别出语料中的命名实体;通过对测试语料的识别,获得实体识别的详细信息,并与正确的人工标记结果进行比较,结果说明了采用CRF进行命名实体识别可以取得了不错的识别效果。 论文的研究成果为日后实现监测平台准确的进行实体识别打下基础。