基于互信息和邻接熵的新词发现算法

被引：31

作者：

刘伟童 ^{[1
,2
]}

刘培玉 ^{[1
,2
]}

刘文锋 ^{[1
,3
]}

李娜娜 ^{[1
,2
]}

机构：

[1] 山东师范大学信息科学与工程学院

[2] 山东省分布式计算机软件新技术重点实验室

[3] 菏泽学院计算机学院

来源：

计算机应用研究 | 2019年 / 36卷 / 05期

关键词：

新词发现; 互信息; 邻接熵; 微博语料;

D O I：

10.19734/j.issn.1001-3695.2017.11.0745

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

如何快速高效地识别新词是自然语言处理中一项非常重要的任务。针对当前新词发现存在的问题,提出了一种从左至右逐字在未切词的微博语料中发现新词的算法。通过计算候选词语与其右邻接字的互信息来逐字扩展,得到候选新词;并通过计算邻接熵、删除候选新词的首尾停用词和过滤旧词语等方法来过滤候选新词,最终得到新词集。解决了因切词错误导致部分新词无法识别以及通过n-gram方法导致大量重复词串和垃圾词串识别为新词的问题。最后通过实验验证了该算法的有效性。

引用

页码：1293 / 1296

页数：4

共 11 条

[1] 面向网络语言基于微博语料的新词发现方法 [J].