基于Web的数据挖掘研究

数据挖掘技术是近年来随着数据库技术和人工智能技术的发展而出现的全新的信息技术，融合了数据库、人工智能和统计学等多种学科的知识，试图从数据中提取出先前未知、有效和实用的知识。数据挖掘技术与统计学、数据库技术、数据库知识发现等学科与密切的联系，也有明显的不同。数据挖掘主要研究内容包括广义知识、关联知识、分类知识、聚类知识、预测型知识和偏差型知识的内容。使用关联分析、分类和聚类分析、神经网络、决策树和规则推理等技术进行挖掘。 由于Web上的信息具有数量庞大、无序性强、重复性大的特点，人们现在还不能迅速、方便地从Web所包含的大量信息中获取所需要的信息。Web挖掘是传统数据挖掘技术在Web环境下的应用，试图从大量的Web文档集合和用户浏览Web的数据信息中发现蕴涵的、未知的、有潜在应用价值的、非平凡的模式。Web挖掘分为Web内容挖掘、Web结构挖掘和Web使用模式挖掘。Web使用模式挖掘是从用户浏览网站的数据中抽取感兴趣的模式，理解用户的浏览兴趣行为，以便进一步改善网站结构或为用户提供个性化的服务。 本文对Web使用模式挖掘的数据采集、用户浏览兴趣的度量和表达两个方面进行了研究，主要的工作有： 1．分析了现有Web使用模式挖掘的数据采集方式，指出了当前数掘采集方式的不足，如由于HTTP协议的无状态连接而难以在Web日志中得到准确的用户浏览信息。提出了一种综合利用服务器日志文件和客户端数据获取用户浏览信息的方法。 2．兴趣是指个人对客观事物的选择性态度，准确地度量用户浏览兴趣是Web使用模式挖掘的基础。本文针对Web使用模式挖掘领域，首先分析了已有的度量用户浏览兴趣方式的不足之处，如度量方式过于简单而导致不能更好地区分用户感兴趣类与不感兴趣类；没有考虑页面信息量对用户浏览时长的影响等。在此基础上，提出了一种基于用户浏览行为度量用户浏览兴趣的方法。 3．如何有效地表达用户浏览兴趣是Web使用模式挖掘研究的方向之一。本文在分析了现有的表达用户浏览兴趣方式的基础上，提出了一种基于树形结构表达用户浏览兴趣的方式。 本文提出的基于用户浏览行为度量和表达用户浏览兴趣的方法改进 山东科技大学硕士学位论文 摘要 了原有的度量和表达方式在数据采集、兴趣度量、兴趣表达儿个方面的不 足，以便更好地为进一步的挖掘做准备。