汉语分词研究漫谈

被引:9
作者
董振东
机构
关键词
分词系统; 词条; 词表; 词汇表; 汉语分词; 词典;
D O I
10.16499/j.cnki.1003-5397.1997.01.022
中图分类号
H1 [汉语];
学科分类号
0501 ; 050103 ;
摘要
从汉语句法分析等后续处理的观点来看,分词错误所造成的不良影响必须予以重视。首先,分词错误,无论是在不该切的地方切了,还是在该切的地方没有切,都将引发后续处理的困难。因此,自动分词不是一个单纯的切分过程,而应当是“分”中有“合”,“合”中有“分”。其次,分词错误暴露出来的“不合法性”实际上反映了汉语词语构成规律的“不合法性”。因此,有必要开展分词错误的研究。基于以上认识,作者认为一个好的分词系统不能只依靠一个貌似完备的词表,而应当同时引入多部功能各异的词典
引用
收藏
页数:6
相关论文
empty
未找到相关数据