数据流频繁闭项集挖掘算法研究

数据流的出现给传统的数据挖掘技术带来了巨大的挑战。由于数据流连续不断的到来，已有的数据处理技术难以对这些潜在无限的、变化的数据进行有效的管理和挖掘。随着移动终端设备的广泛应用，数据流应用领域不断增多，因此，必须对数据流环境下的数据处理技术进行研究。目前，数据流挖掘技术引起了国内外学者的广泛关注，成为当前的一个研究热点。 频繁项集挖掘是数据流挖掘的主要研究内容，被广泛应用于关联规则发现、冰山查询、分类和聚类等问题。针对传统的方法大多关注于在数据流中挖掘全部频繁项集，存在数据和模式冗余问题，近年来人们开始关注在数据流中挖掘频繁闭项集。 本文在对数据流挖掘领域若干问题进行探讨的同时，主要研究了数据流中频繁闭项集的挖掘问题，提出了新的算法并结合实验结果做了必要的分析。概括地说，本文主要涉及到如下几方面内容： 1．与传统的关系型数据库相比，分析了数据流的特点。按照算法处理数据流时所采用的不同时序范围对数据流处理模型进行了介绍，并对目前常用的数据流处理技术进行归纳总结。 2．对数据流挖掘算法的特点及其模型进行了分析和总结，对当前数据流挖掘算法作了介绍。对数据流频繁项集挖掘的经典算法作了详细的分析，了解数据流挖掘过程中的存储结构和存储方法，以及概要数据结构的生成、维护和实时查询结果等方面的内容。 3．频繁闭项集不仅包含了频繁项集的全部信息，而且在数量上远小于频繁项集，在实际应用中更容易被人们理解。本文研究了数据流环境下的频繁闭项集挖掘问题，提出了一种新的基于滑动窗口处理模型的频繁闭项集挖掘算法，来挖掘最近一段时间内用户感兴趣的信息。并将它们存储到一种新的数据结构中，随着滑动窗口的不断滑动以基本窗口为更新单位实时更新和维护该结构，利用该结构可以快速地挖掘出滑动窗口中所有频繁闭项集。