基于向量空间模型的有导词义消歧

被引：31

作者：

鲁松

白硕

黄雄

张健

机构：

[1] 中国科学院计算技术研究所软件研究室!北京

来源：

计算机研究与发展 | 2001年 / 06期

关键词：

词义消歧; 向量空间模型; 义项矩阵; 上下文位置权重; 有导机器学习;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

摘要：

词义消歧一直是自然语言理解中的一个关键问题 ,该问题解决的好坏直接关系到自然语言处理中诸多应用问题的效果优劣 .由于自然语言知识表示的困难 ,在手工规则的词义消歧难以达到理想效果的情况下 ,各种有导机器学习方法被应用于词义消歧任务中 .借鉴前人的成果引入信息检索领域中向量空间模型文档词语权重计算技术来解决多义词义项的知识表示问题 ,并提出了上下文位置权重的计算方法 ,给出了一种基于向量空间模型的词义消歧有导机器学习方法 .该方法将多义词的义项和上下文分别映射到向量空间中 ,通过计算多义词上下文向量与义项向量的距离 ,采用 k- NN(k=1)方法来确定上下文向量的义项分类 .在 9个汉语高频多义词的开放和封闭测试中均取得了突出的成绩 (封闭测试平均正确率为 96 .31% ,开放测试平均正确率为 92 .98% ) ,验证了该方法的有效性

引用

页码：662 / 667

页数：6

共 12 条

[1] Word sense disambiguation using statistical models of Roget’ s categories trained on large corpora. Yarowsky D. In: Proc of the Int’ l Conf on Computational Linguistics’ 92, Nantas,France: Associate of Computational Linguistic . 1992
[2] Two Languages Are More Informative Than OneEB/OL. D. Ido,I. Alon,M. Shaul. The 29th Annual Meeting of Association for Computational Linguistics . 1991
[3] Corpus-based approaches to semantic interpretation in natural language processing. Hwee Tou Ng,John Zelle. The AI Magazine . 1997
[4] Introduction to the Special Issue on Word Sense Disambiguation: The State of the Art. Nancy I de,Jean Veronis. Computational Linguistics . 1998
[5] Automatic word sense discrimination. Hinrich Schutze. Computational Linguistics . 1998
[6] An experiment in computational discrimination of English word senses. Ezra Black. IBM Journal of Research and Development . 1988
[7] Term-weighting approaches in automatic text retrieval. Salton G,Buckley B. Information Processing Letters . 1988
[8] Dimensions of meaning[C/OL]. Schutze H. Proc of the Supercomputing’92 . 1992
[9] Information retrieval based onword senses. Hinrich Schutze,Pedersen J. Proc of the 4th Annual Symposium onDocument Analysis and Information Retireval . 1995
[10] Comparative experiments on disambiguating wordsenses:An illustration of the role of bias in machine learning. Mooney R J. Proc of the Conf on EmpiricalMethods in Natural Language Processing . 1996

← 1 2 →