一种能够检测所有交叉歧义的汉语分词算法

被引:13
作者
王显芳
杜利民
机构
[1] 中国科学院声学研究所语音交互信息技术研究中心
[2] 中国科学院声学研究所语音交互信息技术研究中心 北京
[3] 北京
关键词
自动分词; 长词优先;
D O I
暂无
中图分类号
TP391.1 [文字信息处理];
学科分类号
081203 ; 0835 ;
摘要
本文给出了一种能够检测句子中所有交叉歧义的汉语分词算法 .该算法基于“长词优先”的切分原则 .它解决了切分路径数随句子长度的增长而呈几何级数增长的问题 ,并且提供了一种方法可将句子的覆盖歧义和交叉歧义分开处理 .算法的运算复杂度为O(N) ,N为句子长度 .它的输出使得进行下一步处理的运算量大大减少 .
引用
收藏
页码:50 / 54
页数:5
相关论文
empty
未找到相关数据