核函数的参数选择

20世纪80年代,模式分析领域经历了一场“非线性革命”:为摆脱计算和统计上的线性局限的算法,支持向量机(Support Vector Machine,SVM)被第一次作为核方法提了出来。随后,基于核的方法扩展到除分类以外更宽广的模式分析领域。这样,新技术都被严格的理论分析所推动,在计算效率的保证下制造出来或发展起来。 基于核的分析对于数学家、科学家和工程师来说,是一个强大的新工具。它提供了非常丰富的方法,可以应用在模式分析、信号处理、句法模式识别和其它模式识别领域。随着基于核的学习理论在应用上的巨大成功,它日渐成为当今机器学习研究的热点和主流之一。 核参数选择是基于核的分类算法的一种新型技术,对于基于核的分类器起着至关重要的作用。近年来许多人开始认真审视这项技术,并且新的思想和技术还在不断涌现。如何找到核参数的最优点日渐成为一项热门研究课题,并相继出现了多种核参数选择方式,其中使用目标函数选择核参数的方式越来越受到人们的重视。 通过归纳核聚类算法,本文主要研究核函数的参数选择方法及其应用问题。在此基础上,本文又着重研究使用目标函数为KNN以及基于核的K-demiods选择参数的算法,并通过实验验证和分析了目标函数的使用对核参数选择效率的影响,从而为核函数参数选择更广泛的推广应用提供了有利的基础。 本文的主要创新点如下: 1.总结核的基本理论及划分聚类的主要算法。 本文系统和全面的总结了以前零散的核的基本理论和几种常用的核函数,并对如何构造新的核函数进行了阐述,为核函数的构造提供了坚实的理论基础。同时,文章对主要的划分聚类算法的进行了总结,如K-均值法、基于核的fisher判别分析、基于核的感知机等。 2.提出目标函数为KNN选择核参数的两种方式。 传统的选择最优核参数的算法具有很高的时间复杂度和空间复杂度,并且扩展能力很有限。本文针对基于核的最小距离分类器的特点,结合新空间中数据点的分布情况,设计了选择最优核参数的目标函数算法,为基于核的最小距离分类器提供了有效支持,显著提高了其分类的正确率。其中目标函数的使用可以减少运算次数、简化运算过程,从而显著提高核参数选择算法的效率。 3.提出目标函数为基于核的K-demiods选择核参数的方式。 基于核的K-demiods方法是一种KNN的改进的算法。现有的基于核的分类算法主要在通过核映射来提高分类正确率,但是分类正确率与参数的选择有直接联系。我们通过描述数据点在新的特征空间的期望,通过目标函数来选择参数,从而改善了该算法的性能,基于人工数据集和UCI数据集表明了该算法的有效性。 4.总结了核参数选择的多种方式,并通过实验验证比较了各种选择方式的效率。 文章对于各种文献中提出的核参数选择算法进行了总结,比如试凑法、留一法等等。这种总结对于完善和发展核参数的选择方法具有重要的指导意义。在此基础上,文章对相关实验进行了验证和对相关的实验部分进行了详细分析。