基于LDA模型的文本分割

被引：52

作者：

石晶 ^{[1
]}

胡明 ^{[1
]}

石鑫 ^{[2
]}

戴国忠 ^{[3
]}

机构：

[1] 长春工业大学计算机科学与工程学院

[2] 辽宁师范大学功能材料化学研究所

[3] 中国科学院软件研究所人机交互技术与智能信息处理实验室

来源：

计算机学报 | 2008年 / 10期

关键词：

文本分割; LDA模型; 相似性度量; 边界识别;

D O I：

暂无

中图分类号：

TP301 [理论、方法];

学科分类号：

081202 ;

摘要：

文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法.

引用

页码：1865 / 1873

页数：9

共 6 条

[1] 基于多元判别分析的文本分割模型 [J].