运用改进的分词方法进行外国译名识别的研究

被引:9
作者
方华
王振华
陆汝占
刘绍明
机构
[1] 上海交通大学计算机科学与工程系,上海交通大学计算机科学与工程系,上海交通大学计算机科学与工程系,日本富士施乐公司上海,上海,上海
关键词
自然语言处理; 分词; 译名; 最大词频分词算法;
D O I
暂无
中图分类号
TP391.43 [];
学科分类号
摘要
该文首先介绍了基于词典的分词算法的语言模型和一种基于词典分词算法:最大词频分词法。分析了基于词典的分词算法的语言模型,指出其无法处理未登录词的原因。针对此原因,提出了引入动态词典的方法,将最大词频分词算法和局部频率法相结合以解决未登录词中译名识别的问题。最后,给出了一个系统实现。
引用
收藏
页码:217 / 220
页数:4
相关论文
共 4 条
[1]
一种基于概率模型的分词系统 [J].
李家福 ;
张亚非 .
系统仿真学报, 2002, (05) :544-546+550
[2]
文语转换系统中基于语料的汉语自动分词研究 [J].
应志伟 ;
柴佩琪 ;
陈其晖 .
计算机应用, 2000, (02) :8-11
[3]
中文文本自动分词和标注.[M].刘开瑛著;.商务印书馆.2000,
[4]
计算语言学导论.[M].翁富良;王野翊著;.中国社会科学出版社.1998,