网页排重技术研究及应用

随着Internet的不断发展,网络信息也成指数级的不断膨胀,这给信息检索带来了很大的困难,重复网页排除的研究工作是十分有意义的。 本文从理论和应用两方面对网页查重算法及其应用进行了研究,取得了以下成果: 首先,本文对传统的网页查重算法进行了总结,对其效率、准确率、召回率作了细致的分析。 其次,改进了已有算法,提出了基于字频的特征串算法,实验表明改进的方法处理速度和召回率均优于传统方法。又提出了基于词频的倒排表算法,通过算法性能测试、互联网实际测试,证明此算法的正确率和召回率都有了显著提高,并实际应用到企业的竞争情报系统中,取得了很好的效果。