利用覆盖歧义检测法和统计语言模型进行汉语自动分词

被引：7

作者：

王显芳

杜利民

机构：

[1] 中国科学院声学研究所语音交互信息技术研究中心

[2] 中国科学院声学研究所语音交互信息技术研究中心北京

[3] 北京

来源：

电子与信息学报 | 2003年 / 09期

关键词：

统计语言模型; 覆盖歧义检测法; 自动分词;

D O I：

暂无

中图分类号：

TP391.12 [];

学科分类号：

摘要：

该文探讨了利用覆盖歧义检测法和统计语言模型进行汉语自动分词的问题。采用了多次迭代的方法来进行汉语词层面统计语言模型的训练。该方法能够得到更优化的语言模型。该文详细介绍了统计语言模型的训练过程,给出了语言模型复杂度随迭代次数增加而减小的实验结果。还给出了在不同的统计语言模型阶数下切分正确率变化的情况,分析了切分正确率变化的原因。

引用

页码：1168 / 1173

页数：6