基于粒子群优化算法的集成学习研究

本文的研究内容来源于国家自然科学基金“统计关系学习中若干问题的研究”。主要包括:(1)智能计算中的粒子群优化(PSO)算法、BP算法及二者混合学习方法及其它们在数据挖掘中分类技术中的应用;(2)集成学习中的Boosting算法、Bagging算法、选择性集成算法、异态集成算法;(3)数据挖掘中的学习器、数据预处理。 首先,本文针对BP算法容易陷入局部最小值的问题,基于混合集成的思想,提出了PSO-BP算法,它可以在全局搜索令人满意的结果模型。 其次,针对样本多类型分类的问题,本文对AdaBoost算法做了改进,使之实用于多类型集成学习。本文提出了基于PSO-BP算法的选择性集成学习算法和组合多个神经网络分类器和单个Bayes分类器的异态集成算法。同时为了提高收敛速度和预测准确度,本文提出了一种数据维归约方法,给出相应的公式,并对所有数据集进行了预处理。提出了用粒子群优化算法优化集成学习个体学习器权值算法。 最后,对本文做了总结和展望。 本文实现了上述的所有的相关算法和思想,并在UCI数据库上进行了仿真实验。验证了PSO-BP算法、粒子群优化算法优化权值算法、异态集成算法、数据归约方法的有效性。