基于特征串的大规模中文网页快速去重算法研究

被引：38

作者：

吴平博

陈群秀

马亮

机构：

[1] 智能技术与系统国家重点实验室

来源：

中文信息学报 | 2003年 / 02期

关键词：

计算机应用; 中文信息处理; 特征串; 模糊匹配; 去重算法; 冗余网页;

D O I：

暂无

中图分类号：

TP393.09 [];

学科分类号：

080402 ;

摘要：

网页检索结果中 ,用户经常会得到内容相同的冗余页面 ,其中大量是由于网站之间的转载造成。它们不但浪费了存储资源 ,并给用户的检索带来诸多不便。本文依据冗余网页的特点引入模糊匹配的思想 ,利用网页文本的内容、结构信息 ,提出了基于特征串的中文网页的快速去重算法 ,同时对算法进行了优化处理。实验结果表明该算法是有效的 ,大规模开放测试的重复网页召回率达 97 3% ,去重正确率达 99 5 %。

引用

页码：28 / 35

页数：8