Katz平滑算法在中文分词系统中的应用

被引：5

作者：

黄建中

王肖雷

机构：

[1] 上海交通大学软件学院

[2] 上海大众汽车有限公司上海

[3] 上海

来源：

计算机工程 | 2004年 / S1期

关键词：

中文分词; 语料库; n-gram模型; Katz平滑;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

针对基于统计模型的中文分词系统,从系统实现的角度探讨了主流的相关技术,涉及:n-gram语言模型,语料库,统计模型的参数估计及参数平滑等概念,重点对Katz平滑算法作了改进,并在分词系统原型中实现了该算法。

引用

收藏

页码：371 / 372

页数：2

相关论文

共 3 条

[1] 基于N-最短路径方法的中文词语粗分模型 [J].

张华平 ;

刘群 .

中文信息学报, 2002, (05) :1-7

[2] 汉语自动分词研究评述 [J].

孙茂松 ;

邹嘉彦 .

当代语言学, 2001, (01) :22-32+77

[3] 汉语统计语言模型的N值分析 [J].

张树武 ;

黄泰翼 .

中文信息学报, 1998, (01) :36-42