基于流形学习的分类与聚类方法及其应用研究

信息技术和互联网的飞速发展,使得从多个数据源得到的多种形态的数据不断地成指数级爆炸。如何对这些海量的复杂高维数据进行快速有效的处理、提取用户所需要的有价值信息是理论与应用数学、模式识别和计算机视觉等领域的研究者们所共同关注的问题。流形学习是一种有效的数据处理工具,可以从原始高维数据中挖掘有效精简的信息并发现数据的低维本质属性,为实现“不分时间和地域,可以有效地利用数据和信息”提供了解决思路。本文以模式分类和聚类分析两个问题为背景,从流形学习的角度研究了新型高效的维数约简算法、数据内蕴结构挖掘以及混合流形聚类问题,从理论、方法和应用三个层面对流形学习的相关问题进行了深入研究和拓展。具体而言,本文的主要贡献如下: 1.拓展了传统流形学习方法在高维小采样情况下的相关理论,探讨了图像矩阵型数据表示下的学习和拓展问题。针对NPE方法在高维小采样情况下存在的广义特征分析的奇异矩阵问题以及解的不稳健性和不完备性,提出矩阵分析方法CNPE,在不显著增加算法复杂度、不损失有用信息的情况下拓展了相关理论。另一方面,针对人脸识别中图像数据固有的矩阵型结构特性和相互关联,以及向量化转化带来的高维向量空间和数据自身空间结构信息的丧失,探讨了直接在矩阵型数据表示下的学习能力和拓展问题。 2.提出了基于多流形假设的内蕴结构模型及其指导下的内蕴判别分析方法IDA。针对模式分类任务中多流形假设下的数学建模问题,建立了多流形内蕴结构模型,通过数学模型对数据进行划分、具体表示数据的内蕴特性和结构关系,并在该模型的指导下提出了IDA方法。内蕴结构模型应用于人脸识别时,得到了第一个完全基于数学表示而非概念性表示的内蕴人脸模型。另一方面,从数据分解的角度对经典的维数约简方法PCA和LDA进行了解释,拓展了对经典方法的理解和认识。 3.细致分析了线性流形聚类方法K-flats在仿射子空间下性能退化的原因,提出了局部K-flats方法来改进聚类性能并搭建了线性与非线性流形聚类方法之间联系的桥梁。本文通过细致分析揭示了K-flats性能退化的原因:点到流形距离的重构误差准则和线性模型的无限延伸性造成三类误差:固有误差、无限延伸误差和共线性误差。然后,我们提出了一种能让线性模型具有局部表示能力的新的误差准则和局部K-flats方法来改进原始方法的性能并自然地处理非线性结构数据,不仅将基于模型和基于相似性的线性流形聚类方法联系了起来,更在线性和非线性流形聚类方法之间建立了桥梁。 4.首次明确地提出了流形聚类的一般框架-混合流形聚类问题并分析了其难点及可行的解决途径。我们在学术界首次明确地提出了混合流形聚类问题,将对流形聚类的研究推向一个更一般更广泛的框架:数据中既包含线性结构又包含非线性结构、既有良分离的结构又有相互交叠的结构,从而涵盖了现有流形聚类研究的所有方面。我们通过深入探讨,分析出其难点在于如何描述或表示数据及其相互之间的关系,如何将流形交叉处的点拆解开来得到不同流形结构的成分;并进而提出了该问题可行的解决途径:可以通过考察数据的局部特性和充分利用流形数据所内含的几何结构关系来解决混合流形聚类问题。 5.深入考察了谱方法用于混合流形聚类的潜力,并从不同的角度提出了三种有效的方法来解决混合流形聚类问题。受谱聚类方法优良特性和广泛应用的启发,我们分别深入考察了非对称型规范化谱聚类和对称型规范化谱聚类用于混合流形聚类的潜力。然后,从三个不同的角度出发,即近邻图构造、相似性矩阵构造和近邻点选取,提出了三种基于谱方法的流形聚类方法来分组数据中的低维混合流形结构,从而有效地解决了混合流形聚类问题。 总之,本文在完善和推动流形学习方法的理论研究的同时,将理论研究成果应用于解决模式分类和聚类分析中的实际问题,特别是在基于多流形假设的数据建模与应用方面做了一些有意义和价值的探索与尝试。