隐马氏模型距离的理论与应用

隐马氏模型(the Hidden Markov Models,简称HMM)作为一种统计模型,是由L.E.Baum和T.Petrie等人在上个世纪六十年代末七十年代初发展起来的。随后,它逐渐被应用到多个领域,如语音识别、基因关联分析和基因识别、文字识别、图象处理、目标跟踪和信号处理等。HMM理论主要包括三大问题:学习问题、识别问题和解码问题,其中学习问题(也称参数估计问题)是核心问题。本文主要讨论与HMM的参数估计和聚类问题密切相关的HMM距离的理论及其应用。 在参数估计问题中常常要用Baum-Welch重估计算法来优化参数。从理论上讲,每经过一次迭代,参数都得到优化,但实际上不可能无休止地计算下去,那么迭代到什么时候停止呢?这就需要定义一个距离来控制重估计的进程。同样,在HMM的聚类问题中也需要定义一个距离来进行模型分类。以前的文献提出了各种有意义的距离(如文献[1—10]),然而并没有一个规范的定义。最常用的是Juang和Rabiner在文献[2]中提出的距离(简称J-R距离),目前多数文献采用该距离或对其进行一些小的修改。但该距离存在两个明显缺点:一是采用蒙特卡洛方法来计算,其结果具有不确定性;二是收敛速度慢,计算量大,基至难以从数值上计算。本文在总结以前有关HMM距离的文献的基础上(其中还将Juang和Rabiner的一些直观论述加以严格的证明),从两个方向入手对HMM的距离进行了研究:一是寻求更快速有效的近似算法,二是引入一个新的更实用的距离。 本文的创新有以下几点: 1 对J-R距离的理论进行了完善,并用信息论中的相对熵对该距离作出了新的解释。 2 针对J-R距离在理论上很有意义,但实际上难以计算且结果具有不确定性的缺点,利用文献[11],得到了近似计算离散HMM和具有混合高斯观测密度的连续HMM距离的一种快速有效的算法,该算法用矩阵形式来表达,便于用MATLAB进行计算。 3 在给出并证明了离散HMM转化为齐次马氏链的一个定理的基础上,利用文献[12]研究动态聚类问题时所提出的马氏链之间的距离,定义了一个新的离散HMM的距离。与J-R距离相比,新距离是一个确定值且易于计算,最后经仿真实验表明该距离是合适的。