一种基于词频统计的中文分词方法

中文分词是中文搜索引擎中的基本任务,本文总结和分析了常用的中文分词方法,并提出了一种基于统计的分词算法。算法的原理是在文档中抽取最长重复字串,进而得到索引项。这种分词方法使得分词更加简单准确。