二元语法中文分词数据平滑算法性能研究

被引：4

作者：

刘丹

方卫国

周泓

机构：

[1] 北京航空航天大学经济管理学院

来源：

关键词：

数据平滑; 中文分词; 二元语法;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

将多种平滑算法应用于基于二元语法的中文分词,在1998年1月人民日报语料库的基础上,讨论了困惑度和实际分词性能之间的关系,对比分析各平滑算法的实际性能,结果表明,简单的加值平滑算法性能最优,封闭精度、召回率分别为99.68%、99.7%,开放精度、召回率为98.64%、98.74%。

引用

页码：33 / 36

页数：4

共 4 条

[1] 基于二元语法的N-最大概率中文粗分模型 [J].

吴春颖 ;

王士同 .

[2] 语言模型复杂度度量与汉语熵的估算 [J].

张仰森 ;

曹元大 ;

俞士汶 .

[3] Katz平滑算法在中文分词系统中的应用 [J].

黄建中 ;

王肖雷 .

[4]

Good-turing frequency estimation without tears[J] . William A. Gale,Geoffrey Sampson.Journal of Quantitative Linguistics . 1995 (3)