基于相似度的词聚类算法和可变长语言模型

被引：7

作者：

袁里驰 ^{[1
,2
]}

机构：

[1] 江西财经大学信息学院数据与知识工程江西省重点实验室

[2] 中南大学信息科学与工程学院

来源：

小型微型计算机系统 | 2009年 / 30卷 / 05期

关键词：

互信息; 词相似度; 聚类算法; 可变长语言模型;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计聚类方法基于含婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文利用互信息定义一种词相似度,基于相似度,提出一种自下而上的分层聚类算法.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进.在提高预测能力方面,提出一种新的基于类的可变长语言模型(Vari-gram)的生成方法.

引用

页码：912 / 915

页数：4