基于语境概念核心词提取算法研究

当前国内外对于语境核心词提取算法的研究较少,更多的是对于关键词提取算法的研究,本文提出了一种基于语境的依存句法分析算法。首先本文证明了依存句法分析问题可以等价为如何拆分句子得到最小尺度的语境,以及求出最小尺度语境中的核心词这两个问题。为了解决这两个问题,本文提出了两种语境核心词求解方法,分别是基于熵比较与基于入度和比较的语境核心词提取算法,并基于此进一步提出了最小语境求解算法来构建依存句法树。通过采集《情报学报》 2007—2018年1152篇有效的论文数据并进行测试,分别与经典的关键词提取算法TF/IDF、TextRank、LDA提取的关键词进行了对比,实验结果表明,本文提出的基于语境的依存句法分析算法对于关键词的提取效果良好。