基于字的词位标注汉语分词

被引：10

作者：

于江德 ^{[1
]}

睢丹 ^{[1
]}

樊孝忠 ^{[2
]}

机构：

[1] 安阳师范学院计算机与信息工程学院

[2] 北京理工大学计算机科学技术学院

来源：

山东大学学报(工学版) | 2010年 / 40卷 / 05期

基金：

高等学校博士学科点专项科研基金;

关键词：

汉语分词; 条件随机场; 词位标注; 特征模板;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

近年来基于字的词位标注方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线。该方法中特征模板选择至关重要,采用四词位标注集,使用条件随机场模型进一步研究基于字的词位标注汉语分词技术,在第三届和第四届国际汉语分词评测Bakeoff语料上进行封闭测试,并对比了不同特征模板集对分词性能的影响。实验表明采用的特征模板集:TMPT-10′较传统的特征模板集分词性能更好。

引用

页码：117 / 122

页数：6