基于条件随机场的藏文人名识别技术研究

被引：15

作者：

珠杰 ^{[1
,2
]}

李天瑞 ^{[1
]}

刘胜久 ^{[1
]}

机构：

[1] 西南交通大学信息科学与技术学院

[2] 西藏大学计算机科学系

来源：

南京大学学报(自然科学) | 2016年 / 52卷 / 02期

关键词：

藏文人名; 条件随机场(CRF); 特征选择;

D O I：

10.13232/j.cnki.jnju.2016.02.010

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

文本挖掘中命名实体识别是一项重要的研究内容,利用统计学原理进行命名实体识别具有较高的识别率.利用条件随机场(conditional random fields,CRF)方法,研究藏文人名识别技术,重点探讨藏文人名的内部结构特征、上下文特征、特征选择和数据预处理等内容,并通过实验分析了不同特征的有效性.首先给出了基于字(音节)和字位信息的人名识别方法;其次研究了触发词、虚词、人名词典和指人名词后缀为特征的不同特征组合与优化,并细化了不同虚词对人名识别的作用;最后,通过不同组合的实验测试,结果表明:1)触发词和作格助词特征在藏文人名识别上能够起到积极的作用;2)不同特征窗口大小对人名识别有一定影响;3)利用CRF识别藏文人名F1值能够达到80%左右,但由于藏文两字人名的高歧义性,目前还达不到与其他语言相近的识别效果.

引用

页码：289 / 299

页数：11

共 16 条

[1]

The third international Chinese language processing bakeoff:word segmentation and named entity recognition. Hai Zhao,Chang-Ming Huang,Mu Li. Proceedings of the Fifth SIGHAN Workshop on Chinese Language Processing . 2006

[2]

实用藏文文法教程[M]. 四川民族出版社 , 格桑居冕, 2004

[3] 中文姓名的自动辨识 [J].