基于LDA主题模型的短文本分类

被引：18

作者：

杨萌萌

黄浩

程露红

马平

包武杰

机构：

[1] 新疆大学信息科学与工程学院

来源：

计算机工程与设计 | 2016年 / 37卷 / 12期

关键词：

潜在狄利克雷分布(LDA); 向量空间模型(VSM); 短文本分类; K近邻(K-nearest neighbor); 吉布斯采样; 相似度计算;

D O I：

10.16208/j.issn1000-7024.2016.12.044

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

针对传统VSM(vector space model)在短文本分类中维数高、语义特征不明显的问题,提出基于LDA(latent Dirichlet allocation)模型主题分布相似度分类方法;针对短文本内容少、长度短、特征稀疏的问题,提出基于LDA模型主题-词分布矩阵的主题分布向量改进方法。与传统VSM分类方法相比,该方法降低了相似度计算维度,融合了一定语义特征。实验结果表明,与传统VSM分类方法相比,基于主题分布相似度方法的平均F1值提高了4.5%,基于LDA模型主题-词分布矩阵主题分布向量改进方法的平均F1值提高了5.2%,验证了以上方法的有效性。

引用

页码：3371 / 3377

页数：7

共 9 条

[1]

基于语义理解与PLSA的文本情感分类研究.[D].胡文静.天津师范大学.2012, 09

[2]

Short Text Classification: A Survey.[J].Ge Song;Yunming Ye;Xiaolin Du;Xiaohui Huang;Shifu Bie.Journal of Multimedia.2014, 5

[3] Short text similarity based on probabilistic topics [J].