一种基于字词联合解码的中文分词方法

被引：42

作者：

宋彦 ^{[1
]}

蔡东风 ^{[1
]}

张桂平 ^{[1
]}

赵海 ^{[2
]}

机构：

[1] 沈阳航空工业学院知识工程中心

[2] 不详

来源：

软件学报 | 2009年 / 20卷 / 09期

关键词：

中文分词; 联合解码; 语言模型; 条件随机场模型;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

近年来基于字的方法极大地提高了中文分词的性能,借助于优秀的学习算法,由字构词逐渐成为中文分词的主要技术路线.然而,基于字的方法虽然在发现未登录词方面有其优势,却往往在针对表内词的切分效果方面不及基于词的方法,而且还损失了一些词与词之间的信息以及词本身的信息.在此基础上,提出了一种结合基于字的条件随机场模型与基于词的Bi-gram语言模型的切分策略,实现了字词联合解码的中文分词方法,较好地发挥了两个模型的长处,能够有效地改善单一模型的性能,并在SIGHAN Bakeoff3的评测集上得到了验证,充分说明了合理的字词结合方法将有效地提高分词系统的性能,可以更好地应用于中文信息处理的各个方面.

引用

页码：2366 / 2375

页数：10