汉语分词技术初探

汉语分词,就是将中文语句中的词汇切分出来的过程。分词技术作为中文信息处理的基础环节,它的解决是计算机自然语言理解、人工智能、信息检索、机器翻译等领域突破的关键。因此,开发出一个高精度的汉语分词系统对于中文信息处理显得非常重要。本文讨论了中文分词的概念、目标及其所面临的一些基本问题,并详细介绍了我以自己的认识为基础设计的分词词典以及分词算法。