基于分类关键词词频模型的地缘政治主题爬虫设计

被引：4

作者：

魏勇 ^{[1
,2
]}

胡丹露 ^{[3
]}

郝晨光 ^{[3
]}

欧小平 ^{[3
]}

机构：

[1] 信息工程大学地理空间信息学院

[2] 四川省应急测绘与防灾减灾工程技术研究中心

[3] 中华测绘技术服务公司

来源：

计算机工程 | 2016年 / 42卷 / 02期

关键词：

主题爬虫; 分类关键词词频模型; 词向量; 支持向量机; 相关度;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

针对词频-逆文档频率模型应用于主题爬虫时存在的非结构化问题,设计基于分类关键词词频(CKTF)模型的主题爬虫。利用网页文档结构特征和主题词语的分布信息将网页映射为五维向量,根据维基百科中文语料库和搜狗全网新闻数据语料库选择关键词并计算其与地缘政治主题的相关度,使用支持向量机实现网页向量的学习和分类。实验结果表明,与传统主题爬虫相比,该主题爬虫能够挖掘地缘政治主题中的丰富内容,有效衡量网页与主题的相关度,具有较高的爬准率和稳定性。

引用

页码：45 / 50

页数：6

共 15 条

[1] Ontology-based semantic similarity: A new feature-based approach [J].