基于数据挖掘的大数据管理模型研究

在大数据时代,数据量正在以极快的速度增长,有效管理这些庞大的复杂数据资源将成为大数据时代的主旋律。本文以数据挖掘技术为核心,构建了基于数据挖掘的大数据管理模型。该模型以Hadoop开源平台为支撑,利用RDBMS存储结构化数据、HDFS存储非结构化与半结构化数据,基于混淆网络的关键词前向检索识别算法进行海量数据的特征检索与匹配,并在Hive平台下调用Mahout算法进行数据挖掘与分析,同时结合Map Reduce技术进行并行实时分析。通过实例分析得出,该模型能够有效地提高海量数据分析的动态性、执行效率与智能水平,实现动态、一体化的数据采集、存储、分析及应用任务。