词位标注汉语分词中特征模板定量研究

被引：4

作者：

于江德 ^{[1
]}

王希杰 ^{[1
]}

樊孝忠 ^{[2
]}

机构：

[1] 安阳师范学院计算机与信息工程学院

[2] 北京理工大学计算机科学技术学院

来源：

计算机工程与设计 | 2012年 / 33卷 / 03期

基金：

高等学校博士学科点专项科研基金;

关键词：

汉语分词; 词位标注; 特征模板; 定量分析; 条件随机场;

D O I：

10.16208/j.issn1000-7024.2012.03.058

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

基于字的词位标注的方法能极大地提高汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,词位标注汉语分词中特征模板的设定至关重要,为了更加准确地设定特征模板,从多个角度进行了定量分析,并在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,得到如下结论:同等条件下,训练出的模型大小与扩展出的特征数成正比;不同的单字特征模板在同一语料中扩展出的特征数基本相同,单字特征模板对分词性能的贡献要比双字特征模板小得多;增加B特征模板之后,训练时间大大增加,模型大小基本不变,对分词性能都是正增长。

引用

页码：1239 / 1244

页数：6

共 14 条

[1]

An Improved Chinese Word Segmentation System with Conditional Random Fied. Hai Zhao,Changning Huang,Mu Li. Proceedings of the Fifth SIGHAN Workshop on Chinese Language Processing . 2006

[2]

The third international Chinese language processingbakeoff:word segmentation and named entity recognition. Levow G. Proceedings of the Fifth SIGHAN Workshop on ChineseLanguage Processing . 2006

[3]

A cascadedlinear model for joint Chinese word segmentation and part-of-speechtagging. JIANG Wenbin,HUANG Liang,LIU Qun,et al. Proceedings of the 46th Annual Meeting of the Asso-ciation for Computational Linguistics . 2008

[4]

Unsupervised segmentation helps su-pervised learning of Character tagging for word segmentationand named entity recognition. ZHAO Hai,Chunyu Kit. Proceedings of the SixSIGHAN Workshop on Chinese Language Processing . 2008

[5] 汉语自动分词和词性标注评测 [J].