Web挖掘技术

计算机应用的广泛深入发展，使得人类收集到的信息“爆炸性”的增长。 传统的数据库和OLTP技术提供了数据操作性的支持，却不支持对数据的深层次 的处理。数据仓库和OLAP技术的发展，在一定程度上缓解了这个矛盾。而如 何利用现有的计算能力和人类已有知识发现隐藏在信息“海洋”深处的知识，是 人类认知专家、计算机专家、心理学家等所面临的最大挑战。伴随计算能力的增 长，智能算法的成熟及大规模数据存储技术的成熟，作为自动发现知识的工具， 数据挖掘（Data Ming）逐渐走出实验室，进入生产领域并发挥了积极的作用。 20世纪90年代以来，Internet得到了的飞速发展，成为人们工作与学习的 平台。WWW作为最大的信息集散地，更是积聚了海量的信息。网络由此被认为 是人类史上的第四次工业革命。如何从数以亿计的页面中发现需要的内容，如何 从大量的访问中发现固有的模式和关联，成了人们迫切希望解决的问题。Web 挖掘，源于数据挖掘和Internet技术的结合，研究网上内容自动分类，智能Agent， 用户访问模式发现，成了计算机工作者研究的新热点。 本文首先介绍了数据挖掘的一些基本概念、方法和技术、工具。阐明了什么 是数据挖掘、为什么要数据挖掘、如何进行数据挖掘、数据挖掘的主要过程、分 类及数据挖掘与OLAP（在线分析过程）等的联系等，并介绍了有关数据挖掘发 展情况。 然后，本文着重论述了Web挖掘的内容，任务，它与数据挖掘的联系与区 别，并介绍了使用模式挖掘及其技术。在研究基础上，本文提出了一个数据仓库 和Web挖掘结合的模型，并就此进行了实验。 本文最后总结了工作尚存的不足，并指出了Web挖掘研究的方向、应用前 景和它所面临的挑战。