基于统计和规则的未登录词识别方法研究

被引：59

作者：

周蕾 ^{[1
]}

朱巧明 ^{[2
]}

机构：

[1] 常熟理工学院计算机科学与工程系

[2] 苏州大学计算机科学和技术学院

来源：

计算机工程 | 2007年 / 08期

关键词：

未登录词识别; 贪心算法; 二元模型; 互信息;

D O I：

暂无

中图分类号：

TP391.4 [模式识别与装置];

学科分类号：

081102 [检测技术与自动化装置];

摘要：

介绍了一种基于统计和规则的未登录词识别方法。该方法分为2个步骤:(1)对文本进行分词,对分词结果中的碎片进行全切分生成临时词典,并利用规则和频度信息给临时词典中的每个字串赋权值,利用贪心算法获得每个碎片的最长路径,从而提取未登录词;(2)在上一步骤的基础上,建立二元模型,并结合互信息来提取由若干个词组合而成的未登录词(组)。实验证明该方法开放测试的准确率达到81.25%,召回率达到82.38%。

引用

页码：196 / 198

页数：3

共 7 条

[1]

基于概率统计技术和规则方法的新词发现 [J].