基于CRFs模型的敏感话题识别研究

被引：4

作者：

翟东海 ^{[1
,2
]}

聂洪玉 ^{[1
]}

崔静静 ^{[1
]}

杜佳 ^{[1
]}

机构：

[1] 西南交通大学信息科学与技术学院

[2] 西藏大学工学院

来源：

计算机应用研究 | 2014年 / 31卷 / 04期

关键词：

条件随机场; 敏感话题识别; 相关性概率值;

D O I：

暂无

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

条件随机场(CRFs)是一种判别式概率无向图学习模型,将其引入敏感话题识别中,提出了基于CRFs模型的敏感话题识别方法。将随机挑选出的一篇待检测文本s和剩余的待检测文本分别作为CRFs模型的观察序列和状态序列来计算文本s和其余待检测文本间的相关性概率值;然后将相关性最高的那篇文本和文本s合并表征一个类别;同时,将相关性最低的那篇文本作为另一个类别,将这两个类别作为CRFs模型新的状态序列,剩余的待检测文本作为新的观察序列进行迭代,据此实现敏感话题的识别。在数据集上进行的实验中,该方法的耗费函数的值为0.01943,宏平均F度量的值为0.8235,都取得了很好的效果。

引用

页码：993 / 996

页数：4

共 20 条

[1] 基于新闻要素的新事件检测方法研究
薛晓飞
张永奎
任晓东
[J]. 计算机应用, 2008, (11) : 2975 - 2977
[2] Topic detection and tracking pilot study final report. Allan J,Carbonell J,Doddington G,et al. Proceedings of the DARPA Broadcast News Transcription and Understanding Workshop . 1998
[3] A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. Ester M,Kriegel H P,Sander J,et al. Proceeding of the Second International Conference on Knowledge Discovery and Data Mining (KDD 96) . 1996
[4] Conditional random fields: probabilistic models for segmenting and labeling sequence data. Lafferty J,McCallum A,Pereira F. Proceedings of the Eighteenth International Conference on Machine Learning . 2001
[5] Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. Viterbi AJ. IEEE Transactions on Information Theory . 1967
[6] Term-weighting approaches in automatic text retrieval. Salton G,Buckley C. Information Processing Letters . 1988
[7] Flexible Intrinsic Evaluation of Hierarchical Clustering for TDT. Allan, J,Feng, A,Bolivar, A. 12th International Conference on Information and Knowledge Management . 2003
[8] Online Topic Detection Tracking and Significance Ranking Using Generative Topic Models. L.S.AlSumait. Journal of Women s Health . 2009
[9] New event detection based on indexing-tree and named entity. ZHANG Kuo,ZI Juan,WU Li-gang. Proc of the 30th Annual International ACM SIGIR Conference on Research and Development inInformation Retrieval . 2007
[10] UPDATING QUASI-NEWTON MATRICES WITH LIMITED STORAGE
NOCEDAL, J
[J]. MATHEMATICS OF COMPUTATION, 1980, 35 (151) : 773 - 782

← 1 2 →