贝叶斯网络结构学习与推理研究

贝叶斯网络是概率统计与图论相结合的一种图模型，在不确定性知识的表达和推理方面具有独特优势，已成功地应用于机器学习、人工智能、生物信息学、金融分析与预测等多个领域．然而，仅依赖专家的领域知识构建贝叶斯网络非常困难，甚至是不可能的．因此，从数据中学习贝叶斯网络结构并进行推理计算已经成为该研究领域的重点和难点问题.本文在深入研究贝叶斯网络相关理论的基础上，从不同角度建立学习贝叶斯网络结构的优化算法，为贝叶斯网络的构建和实际应用提供了有力的依据；同时，针对含有连续变量的高斯网络，通过分析该类网络的具体特点，给出一种新的推理计算方法．具体工作包括以下几个方面： 1.针对大规模贝叶斯网络的结构学习问题，提出了一种基于最大主子图分解的贝叶斯网络等价类学习算法．首先，在深入研究无向图分解理论的基础上，给出了一种基于全条件独立的最大主子图分解算法；利用该算法可以对目标网络的无向独立图进行分解，使得复杂高维系统的数据模式分解成若干子模块，从而将结构学习简化为局部子网络的学习问题；理论证明，这种分解不会破坏随机变量的局部统计信息．同时，本文在忠实性分布的假设条件下，提出了一种利用嵌入性忠实性分布确定变量Markov边界的算法，提高了条件独立测试的效率． 2.针对小样本数据的结构学习问题，提出了一种基于先验节点序的优化算法．首先，通过定义1-步依赖系数给出了网络结构的全局依赖度量，以此作为优化模型的目标函数，从而将结构学习问题转化为在可行域空间中求解目标函数的极大值问题，并给出了最优解的存在性及唯一性证明，为小样本贝叶斯网络学习提出了新的解决方案．同时，将这一思想引入到变量无序情况下的数据分类问题中，理论证明以及实验结果表明，与朴素贝叶斯、树扩展型分类算法相比，该分类算法具有较高的分类精度和较优的模型结构． 3.针对基于评分搜索的结构学习算法，将一类新的群智能优化算法—蜂群优化引入到贝叶斯网络的学习中，给出了有效的初始解生成方法以及解的状态空间描述，同时，通过三种操作算子和可分解的K2评分函数引导蜜蜂在解的邻域中进行搜索，使得不同类型蜜蜂之间相互协作共享．仿真实验结果显示，新算法不仅具有较强的学习能力和良好的收敛速度，而且相对于文中其他算法能够获得更好的求解质量． 4.研究了含有连续变量的条件线性高斯网络的基本理论，并深入分析了高斯网络的推理计算问题，给出了消息传递过程中用于消元运算的几个关键算子的证明，在此基础上，提出了一种基于强联接树的高斯网络推理算法．该算法结合图模型结构中隐含的语义知识，通过对团节点和分离元节点的势函数进行分解，将推理计算过程中的语义变化抽象为具体的公式推导，并给出了消元前后目标概率分布的形式变化，从而有效避免了冗余变量的物理计算．