基于PLSA模型的文本分割

被引:24
作者
石晶
戴国忠
机构
[1] 中国科学院软件研究所人机交互技术与智能信息处理实验室
关键词
文本分割; 概率潜在语义分析; 相似性度量; 边界识别;
D O I
暂无
中图分类号
TP391.1 [文字信息处理];
学科分类号
摘要
文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用·基于PLSA模型的文本分割试图使隐藏于片段内的不同主题与文本表面的词、句对建立联系·实验以汉语的整句作为基本块,尝试了多种相似性度量手段及边界估计策略,同时考虑相邻句重复的未登录词对相似值的影响,其最佳结果表明,片段边界的识别错误率为6·06%,远远低于其他同类算法·
引用
收藏
页码:242 / 248
页数:7
相关论文
共 3 条
[1]   Unsupervised Learning by Probabilistic Latent Semantic Analysis [J].
Thomas Hofmann .
Machine Learning, 2001, 42 :177-196
[2]   Statistical Models for Text Segmentation [J].
Doug Beeferman ;
Adam Berger ;
John Lafferty .
Machine Learning, 1999, 34 :177-210
[3]  
Integrating prosodic andlexical cues for automatic topic segmentation .2 G Tur,D Hakkani-Tur,AStolcke,et al. Computa-tional Linguistics . 2001