基于改进位置成词概率的新词识别

被引：4

作者：

林自芳

蒋秀凤

机构：

[1] 福州大学数学与计算机科学学院

来源：

福州大学学报(自然科学版) | 2011年 / 39卷 / 01期

关键词：

汉语; 新词; 识别; 改进位置成词概率;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

120506 [数字人文];

摘要：

提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词.

引用

收藏

页码：43 / 48

页数：6

相关论文

共 5 条

[1]

网络热点信息发现研究 [J].

曾依灵 ;

许洪波 .

通信学报, 2007, (12) :141-146

[2]

基于构词法的网络新词自动识别初探 [J].

郑家恒 ;

李文花 .

山西大学学报(自然科学版), 2002, (02) :115-119

[3]

中文新词检测与分析 [D].

崔世起 .

中国科学院研究生院（计算技术研究所）,

2006

[4]

短文本语言计算的关键技术研究 [D].

龚才春 .

中国科学院研究生院（计算技术研究所）,

2008

[5]

A taxonomy of suffix array construction algorithms [J].

Publisi, Simon J. ;

Smyth, W. F. ;

Turpin, Andrew H. .

ACM COMPUTING SURVEYS, 2007, 39 (02)