支持向量机及其在人脸识别中的应用研究

支持向量机是一种重要的机器学习算法，在模式识别领域有着广泛的应用。和传统的基于经验风险最小化准则的学习算法不同，支持向量机基于结构风险最小化准则工作，能在训练误差和分类器容量之间达到一个较好的平衡，因而具有更好的性能。自诞生之日起，支持向量机就迅速赢得了众多研究者的青睐，相关研究不断增加。但到日前为止，其至少有两个问题还未完全解决：参数选择和多类支持向量机的构建。前者研究的是如何选择具有良好泛化性能的分类器，后者研究的是如何使用支持向量机来处理多类问题。针对这两个问题，本文作了三方面研究：两类支持向量机的参数选择研究、多类支持向量机的参数选择研究以及多类支持向量机的结果构建研究，研究结果在多个国际通用的基准数据集上进行了验证。 人脸识别是模式识别的一个重要分支，其研究不仪有助于机器智能的实现，还能推进对人类视觉系统的理解。很多研究表明，使用支持向量机进行人脸识别能够获得很高的识别率。然而，一个尴尬的事实是，鲜有成熟的商业人脸识别系统是基于支持向量机的。为了探索基于支持向量机的人脸识别系统在现实中的可应用性，本文从应用的角度出发，较为全面地对一些相关问题进行探讨，并使用Visual C++实现了一个基于支持向量机的人脸识别软件—idTeller。 论文的主要工作和创新点包括： ·提出了两种基于VC边界的支持向量机参数选择算法—固定C算法和VC-CV算法。VC边界是两类支持向量机参数选择的一个理想准则，但它的一些固有缺点使其应用变得困难。本文通过将VC边界转化为VC指标，最终把问题归结为对最小包围体的求解，从理论上和计算上为VC边界的使用铺平了道路。在此基础之上，本文提出了两种基于VC边界的参数选择算法—固定C算法和VC-CV算法。在数个基准数据集上的实验表明，相比交叉验证算法，VC-CV算法不仅能获得性能更好的分类器，而且具有较低的计算复杂度。 ·使用序贯最小优化算法解决了最小包围体求解问题。最小包围体求解是计算VC指标的一个关键步骤，本文使用序贯最小优化算法对其求解，并对算法初始化、参数选择及更新等若干实现问题进行了深入地研究。在多个基准数据集上的实验表明，序贯最小优化算法能够快速而准确地解决最小包围体求解问题。 ·研究了多类支持向量机参数选择的策略问题。与文献中广泛采用的All-in-One策略不同，本文所采用的One-in-One策略为每个两类分类器单独选择参数，所得到