基于Hadoop平台的并行化数据分类算法研究

随着云数据规模的急剧增长,传统的基于统计学和机器学习方法的数据分类算法在处理海量、异构和复杂的Web数据时面临系统扩展性的瓶颈。在云计算平台Hadoop上,实现数据分类中特征提取、特征分析和特征分类的MapReduce化处理。通过知识推理并行化特征构造,建立概念层次结构的特征度量,与分类算法的并行化处理进行融合,在真实数据集上进行验证,与传统算法组合在精度和时间开销上进行比较,实验表明该分类算法能获得更好的准确性和加速比,是一种有效的海量数据分类方法。