基于LDA模型的文本聚类研究

被引：69

作者：

王鹏 ^{[1
]}

高铖 ^{[1
]}

陈晓美 ^{[2
]}

机构：

[1] 不详

[2] 长春理工大学计算机科学技术学院

[3] 不详

[4] 吉林大学管理学院

[5] 不详

来源：

情报科学 | 2015年 / 01期

关键词：

文本聚类; LDA模型; 文本相似度; 层次聚类;

D O I：

10.13833/j.cnki.is.2015.01.013

中图分类号：

G254 [文献标引与编目];

学科分类号：

摘要：

在Web2.0时代,网络文本数据呈现爆炸式增长,传统的文本聚类模型存在数据维数过高,数据稀疏,缺乏语义理解等问题。针对以上问题,本文提出了一种基于LDA模型,通过Gibbs算法估计文本的主题概率分布,利用JS(Jensen-Shannon)距离作为文本的相似性度量,然后采用层次聚类法进行聚类。实验得到较高的聚类纯度(Purity)和Fscore值,表明该方法是有效的。

引用

页码：63 / 68

页数：6

共 11 条

[1] 基于LDA的中文文本相似度计算
孙昌年
郑诚
夏青松
[J]. 计算机技术与发展, 2013, 23 (01) : 217 - 220
[2] 基于LDA模型的文本分类研究
姚全珠
宋志理
彭程
[J]. 计算机工程与应用, 2011, 47 (13) : 150 - 153
[3] 基于向量空间模型的文本聚类算法
姚清耘
刘功申
李翔
[J]. 计算机工程, 2008, (18) : 39 - 41+44
[4] 对层次聚类算法的改进
段明秀
杨路明
[J]. 湖南理工学院学报(自然科学版), 2008, (02) : 28 - 29+36
[5] 聚类算法研究
孙吉贵
刘杰
赵连宇
[J]. 软件学报, 2008, (01) : 48 - 61
[6] 基于混合并行遗传算法的文本聚类研究
何婷婷
戴文华
焦翠珍
[J]. 中文信息学报, 2007, (04) : 55 - 60
[7] 一种改进的K-means算法
张玉芳
毛嘉莉
熊忠阳
[J]. 计算机应用, 2003, (08) : 31 - 33+60
[8] Hierarchical Clustering via Joint Between-Within Distances: Extending Ward's Minimum Variance Method[J] . Gabor J. Szekely,Maria L. Rizzo.Journal of Classification . 2005 (2)
[9] Unsupervised Learning by Probabilistic Latent Semantic Analysis
Thomas Hofmann
[J]. Machine Learning, 2001, 42 : 177 - 196
[10] A vector space model for automatic indexing[J] . G. Salton,A. Wong,C. S. Yang.Communications of the ACM . 1975 (11)

← 1 2 →