支持向量机学习算法的若干问题研究

支持向量机是建立在统计学习理论的VC维理论和结构风险最小化原则基础上的新型机器学习方法。它根据有限样本信息在模型的复杂度和期望风险之间寻求最佳折衷，能够获得更好的泛化性能。与传统的神经网络等学习方法相比，支持向量机具有泛化能力强、维数不敏感、收敛到全局最优等优点，很好地解决了前者容易出现的过学习、局部极值、维数灾难等棘手问题，因而成为近几年机器学习领域中的一个非常活跃的研究热点。 然而，支持向量机是机器学习领域中相对比较新的理论，它在很多方面尚不成熟、不完善，需要进一步地研究和改进。其中，关于它的学习算法的研究是该理论的重点和难点内容之一。本文主要从提升泛化性能、提高学习速度、探索新型学习算法、增强学习过程的健壮性以及半监督学习等几个角度，对支持向量机的学习算法进行了比较系统的研究。 论文的主要研究工作包括以下5个方面： 1．特殊设计的集成学习算法能够提高支持向量机的泛化性能。在分析不同的样本扰动方式对于增大成员分类器之间差异性的作用之后，本文提出了两种基于二重扰动机制的集成学习算法，它们的共同特点是：均采取同时对输入特征空间和模型参数进行扰动的方式来产生成员分类器，并利用多数投票方法对它们进行组合。数值实验结果表明，两种算法均能够显著提升支持向量机的泛化性能。 2．支持向量机的学习过程需要求解一个凸二次规划问题，在大样本情况下，需要的计算开销和存储开销都非常大。通过将开销分解到并行系统的多个计算节点上并行地进行处理或者通过设计并行学习算法是解决该问题的有效途径之一。本文提出了“多重三叉级联（MTC）”并行学习结构，具有反馈速度快、节点利用率高、反馈的支持向量数目多等优点；并且，基于该学习结构设计了支持向量机的并行学习算法，获得了非常高的加速比和并行效率，显著提高了学习速度。 3．支持向量机的大多数学习算法都是针对其对偶优化问题进行求解，但直接针对其原始优化问题进行求解也是非常可行的。本文利用Huber函数消除原始优化目标函数中的ι1范数后，推导得到其无约束、连续、二次可微且严格凸的γ-近似优化问题，然后采用Newton下降法进行求解，并对解的更新规则进行了推导和简化。在此基础上，提出一种能够直接在原始空间中求解支持向量机的近似最优解的快速学习算法，并对算法的收敛性、复杂度以及解的性质进行了分析。 4．支持向量机采用的Hinge损失函数对噪声样本引起的罚损失没有任何限制，这是它对噪声样本敏感的根本原因。本文提出一种基于光滑Ramp损失函数的健壮支持向量机方法，能够有效抑制噪声样本对泛化性能的影响。鉴于新方法的优化问题是非凸的，首先采用CCCP过程将其变换成一系列的无约束、二次可微且严格凸的优化问题，然后采用Newton下降法在原始空间中进行求解，并对解的更新规则进行了推导和化简。在此基础上，给出了健壮支持向量机的学习算法。 5．半监督支持向量机能够同时利用“标记”和“未标记”样本进行学习，但是，求解它的最优解是一个NP难问题。渐近式学习算法通过逐步地对少量样本进行标记，能够快速获得半监督支持向量机的近似解，但它也存在两个明显缺陷，严重影响了泛化性能。针对这些缺陷，本文提出一种模糊渐近式学习算法，它通过自适应地为样本设置模糊隶属度，消除了渐近过程对“不一致”样本优化的阻碍；并且采用新的算法停止条件，使得“未标记”样本中的分类信息尽量被充分利用；同时，还采用了混合训练集缩减策略，有利于提高算法的学习速度。数值实验结果表明，新算法是半监督支持向量机的一种高精度的、快速学习算法。