统计与规则结合的一种新词识别方法

被引:6
作者
聂颂
何丕廉
孙越恒
机构
[1] 天津大学计算机科学与技术系
关键词
分词; 窗口移动扩展法; 规则过滤法; 自然语言处理;
D O I
暂无
中图分类号
TP391.4 [模式识别与装置];
学科分类号
0811 ; 081101 ; 081104 ; 1405 ;
摘要
一种新的基于统计的窗口移动扩展法,即把未登录词的子串当作一个窗口,在未登录词串中移动和扩展窗口并记录每个窗口的状态。该方法可以有效识别大部分新词。
引用
收藏
页码:58 / 60
页数:3
相关论文
共 3 条
[1]   基于构词法的网络新词自动识别初探 [J].
郑家恒 ;
李文花 .
山西大学学报(自然科学版), 2002, (02) :115-119
[2]   一种新的基于统计的词典扩展方法 [J].
周正宇 ;
李宗葛 .
中文信息学报, 2001, (05) :46-51
[3]  
中文文本自动分词和标注.[M].刘开瑛著;.商务印书馆.2000,