基于核的非线性特征抽取与图象识别研究

特征抽取是模式识别研究的最基本问题之一。对于图象识别而言，抽取有效的图象特征是完成图象识别的首要任务。基于核的特征抽取方法是最近刚刚提出的一种非常有效的非线性特征提取的方法。该文就有关基于核的非线性特征抽取及识别方法中的若干问题进行了深入的研究，所提出的算法在人脸识别和手写体字符识别方面得到了较成功的应用。 基于统计不相关性的Fisher线性鉴别分析是特征抽取的最好方法之一，在此基础上，本文提出了基于核的统计不相关鉴别分析方法。该方法不仅能够有效地抽取非线性特征，而且能够彻底消除样本特征之间的统计相关性，并指出基于核的统计不相关鉴别分析方法是经典的Fisher鉴别分析和统计不相关鉴别分析的进一步发展。在ORL标准人脸库上的试验结果表明，在识别性能上所提出的方法不仅优于基于经典的线性鉴别分析方法和统计不相关线性鉴别分析方法，而且也优于核Fisher鉴别分析。在此基础上，引入空间变换的思想，提出了一种快速的核Fisher鉴别分析，从理论上巧妙地解决了高维特征空间内类内散布矩阵奇异情况下最优鉴别矢量集的求解问题，而且较大幅度地降低了求解最优鉴别矢量集的计算量，提高了计算速度。在ORL人脸库上的试验结果表明，其特征抽取的速度提高了近3倍。 该文对核Fisher鉴别分析（KFDA）进行了深入分析，发现了一种与之等价的但更为简单的非线性特征抽取方法，即先利用一个函数向量映射将原始n维输入空间R~n变换到一个更低维的空间RN（N是训练样本的数目，N<<n），然后在该空间上利用线性Fisher鉴别分析进行最优特征抽取。在此基础上，本文给出了特征抽取的一般模型，根据此模型，设计了一个基于矩阵相似度的特征抽取算法。最后，在ORL人脸库上的实验结果验证了本文所提模型的有效性。 目前，尽管核方法在图象等模式识别领域应用的非常广泛和成功，但也存在如下一些问题：一、构造特征空间H中的核矩阵K所耗费的计算量非常大。二、当训练样本数N很大时，一方面会使得核矩阵的存储空间急剧增加，因为核矩阵的维数为N×N；另一方面造成核矩阵的不可逆。为此，本文提出了两种两阶段的核特征抽取方法：PCA+KFDA和PCA+KPCA，即在进行非线性映射之前，首先利用经典的主分量分析降维，然后再执行核Fisher鉴别分析（KFDA）或核主分量分析（KPCA）。为了进一步降低经典PCA的处理时间，使本算法具有更高的效率，对C-PCA进行了改进，提出了 摘要 博士论文 直接基于图象矩阵的主分量分析（l一PCA）。在ORL标准人脸库上的试验结果验证了所 提算法的有效性。 聚类技术是模式式别领域应用非常广泛的非监督学习技术，为了解决核方法中计 算复杂度随着训练样本的数目的增加而增大的问题，本文提出了一种基于聚类的核矩 阵维度缩减技术，它的思想就是首先利用非线性映射磷原始输入空间变换到某高维 特征空间，然后根据k一均值聚类算法计算代表集，利用该代表集计算得到一组标准正 交的基向量，构成一个低维的投影子空间。在CEN]助kR犯手写体阿拉伯数字库的试 验结果证实了所提算法的有效性。 本文提出了一种融合小波特征的核Fisher鉴别分析方法，即在进行非线性映射之 前，首先利用小波变换对原始输入图象进行预处理，抽取图象的小波特征，然后在频 域上进行核Fisher鉴别分析。在ORL标准人脸库上的试验结果表明所提出的方法不仅 在识别性能上优于现有的核Fisher鉴别分析方法，而且，特征抽取的速度提高了近13 倍:在、习e人脸库上进一步证实了本文方法的有效性。 因为传统的PCA方法是以总体协方差矩阵作为产生矩阵的K-L展开方法，本身 无法利用训练样本的类别信息（包括KPCA）。另一方面，PCA是基于线性变换的特 征抽取方法，无法抽取非线性特征，第三，PCA主要选取模式样本的主分量信息，忽 视了可能对分类仍然有用的次分量信息。针对PCA的上述缺点，本文提出了一种改进 的核主分量分析方法-一.核最优鉴别K-L变换方法，该方法不仅能够抽取模式的非线 性最优表示特征，而且这些特征具有与LDA等价的鉴别力，并且保留了一部份有用 的次分量信息（二阶矩鉴别信息）。在ORL标准人脸库上的试验结果验证了所提的方 法的有效性.