基于Probit模型的相关向量机分类器设计及应用

现阶段比较常用的分类器有支持向量机（SVM）和相关向量机（RVM）。SVM是Cortes和Vapnik于1995年首次提出的，在解决小样本、非线性及高维模式识别中表现出许多特有的优势。RVM是Tipping于2001年在贝叶斯框架的基础上提出的，其函数形式和SVM相同。与SVM相比，RVM可以得到准确的预测模型，不用估计误差参数、输出是判为各类的概率值、核函数不需满足Mercer条件。 SVM和RVM最初用于解决两类数据的分类问题，但现实生活中我们更多遇到的是多类分类问题，如何有效地将两类分类器推广到多类分类是值得研究的课题。现已有的方法大都通过构建多个两类分类器进行多类分类。本文在前人工作的基础上，基于Probit模型对现有的RVM分类器进行改进，将其应用于两类及多类数据的分类中。本论文的主要内容如下： 第二章介绍贝叶斯学习的一些理论，包括贝叶斯理论和变分贝叶斯理论。 第三章介绍两类RVM分类器的实现。从传统RVM分类器入手，引出基于Probit模型的两类RVM分类器，并基于变分贝叶斯理论进行后验参数求解及预测分布的推导，最后基于人工合成数据、UCI公共数据和雷达实测数据对分类器的性能进行评估。 第四章研究多类RVM分类器。首先介绍传统多类RVM分类器，然后给出我们基于Probit模型实现多类RVM分类器的方法，并基于变分贝叶斯理论进行后验参数求解及预测分布的推导，最后基于人工合成数据、UCI公共数据和雷达实测数据对分类器的性能进行评估。 为了在今后研究中使用提出的RVM分类器的方便，我们基于VC与MATLAB联合编程编制了RVM分类软件。论文第五章介绍了软件的基本编程原理和功能。该软件只需加载训练及测试数据，并进行分类器的一些相关参数设置，即可得出分类识别结果及拒判结果。