汉语自动分词及歧义组合结构的处理

现代汉语计算机自动分词是中文信息处理领域所特有的一个重要研究课题,机器翻译(MT)、自然语言理解(NLU)、情报检索(IR)等许多工作都需以自动分词作为基础。 本文对现有的几种计算机自动分词算法进行了简要的分析和评价,提出了一种新的分词算法——“联想——回溯法”(Association——Backtracking Method,简称 AB法),并对这种基于知识的分词算法进行了详细的讨论。在此基础之上,我们着重论述了歧义组合结构的切分策略,提出了许多处理歧义结构的实用切分规则。