基于条件随机场的中文分词研究

分词是中文自然语言处理的基本问题。很多自然语言处理任务都建立在分词的基础之上，分词的准确程度直接影响到一系列后续处理的正确性。但由于汉语自身的复杂性，分词问题一直是中文自然语言处理的难题。 条件随机场是一种无向图模型，它具有产生式模型和最大熵马尔可夫模型的优点。既可以利用任意上下文特征，并对这些特征进行训练；又可以通过折衷不同位置的不同特征值的方法获得全局最优的标记结果。 基于统计的中文分词按照分类单位划分，通常可分为基于汉字标注的分词和基于全切分图的分词两种方法。目前，条件随机场方法主要应用于基于汉字标注的分词问题研究，但这种方法不能有效地利用词汇信息。本文对基于条件随机场的中分分词理论和技术做了研究，并实现了一个基于全切分图的条件随机场分词训练和测试系统。由于汉语的词之间没有明显的边界标记，所以无法直接用条件随机场进行分词模型的训练和测试。本文使用构建起始词矩阵和结束词矩阵的方法，来辅助构建基于全切分图的条件随机场模型。本文使用机器学习方法训练基于全切分图的条件随机场模型。与汉字标注的分词方法不同，基于全切分图的分词方法可以更方便的利用词汇以及领域的信息。本文使用了单词的词形和词性信息等领域信息作为特征，构建条件随机场的分词模型。为了提高条件随机场训练系统的性能，本文采用一系列优化策略，提高训练速度。 本文使用人民日报一个月的语料作为训练数据，使用全切分图的方法构建条件随机场模型，分词结果的正确率为0.967。实验表明，基于条件随机场的分词方法，是一种可行的分词手段。