消解中文三字长交集型分词歧义的算法

汉语自动分词在中文信息处理现实应用中占据着十分重要的位置。三字长交集型分词歧义是分词歧义的主要类型之一，在真实文本中的出现频率相当高。提出了一种针对这种分词歧义的消解算法，回避了训练代价比较高昂的词性信息而仅仅利用了词的概率信息及某些具有特定性质的常用字集合。从一个６０万字的汉语语料库中抽取出全部不同的三字长交集型分词歧义共５３６７个作为测试样本。实验结果表明，该算法的消解正确率达到了９２．０７％，基本可以满足实用型中文信息处理系统的需要。