基于伪文档的潜在语义索引优化技术的研究

自然语言中普遍存在着同义词和多义词现象,致使人们很难通过以词形匹配的关键词检索寻找到真正需要的网络资源。潜在语义索引通过奇异值分解将同义词映射到潜在语义空间的同一维度上,同时将多义词映射到不同的维度上,进而在一定程度上解决了一词多义和多词一义的现象。潜在语义索引与其它基于概念词典的方法相比,具有可计算性强,领域适应能力强的优点,并已成为了自然语言处理领域中的研究热点。 本文的研究工作是通过强化合理的特征共现信息来提高潜在语义空间中特征向量和文档向量的准确度,进而提高系统的性能。基于以上的想法,本文提出了基于伪文档的潜在语义索引的优化框架,所谓伪文档即是通过对原始文档集合进行有指导地组织而形成的新的文档。同时,本文在基于伪文档的优化框架的基础上提出了两种优化策略:基于语义块的优化方法及基于语义资源的优化方法。 针对潜在语义索引以文档窗口为传递窗口造成的特征相关度不准确的问题,本文提出了基于语义块的优化方法。该方法是通过对原始文档集合有指导地分割,将语义相近的特征划分到同一个语义块单元中,从而加强了语义相关特征的相关性,最终优化了潜在语义空间中的代表特征和文档的向量。 同时,在应用潜在语义索引的过程中,生成潜在语义空间的整个过程是完全无指导的,使得语义空间中的表达特征和文档的向量不够准确。基于语义资源的优化方法通过将人的先验知识融入到原始的文档集合中,有指导地强化了同义特征之间的相关度,最终使得潜在语义空间中表达特征和文档的向量更加准确。 最终,本文开发了“基于潜在语义索引的专利检索系统”作为实验系统,针对本文提出的方法以可视化的形式展示了实验效果。