统计句法分析建模中基于信息论的特征类型分析

被引：4

作者：

穗志方

赵军

俞士汶

机构：

[1] 北京大学计算机科学与技术系计算语言学研究所!北京,香港科技大学计算机科学系人类语言技术中心!香港,北京大学计算机科学与技术系计算语言学研究所!北京

来源：

计算机学报 | 2001年 / 02期

关键词：

统计句法分析; 信息论; 概率建模; 特征类型分析;

D O I：

暂无

中图分类号：

TN912.3 [语音信号处理];

学科分类号：

0711 ;

摘要：

统计句法分析利用概率评价模型评价每棵候选句法树存在的可能性 ,选择概率值最高的候选句法树作为最终的句法分析结果 .因此 ,统计句法分析的核心是一个概率评价模型 ,而各种概率评价模型的本质区别主要在于它们分别是根据上下文中的哪些特征来赋予句法树概率的 .在统计句法分析研究领域 ,虽然已经提出了大量的概率评价模型 ,然而 ,不同的模型用到了不同类型的特征 .如何评价这些特征类型对于句法分析的作用呢 ?针对以上的问题 ,本研究为统计句法分析提出了一种特征类型的分析模型 ,该模型可以从信息论的角度量化地分析不同类型的上下文特征对于句法结构的预测作用 .其基本思想是利用信息论中熵与条件熵的度量来显示一个特征类型是否抓住了预测句法结构的主要信息 .如果加入某个特征类型之后当前句法结构的不确定性 (熵 )明显下降 ,则认为该特征类型抓住了上下文中影响句法结构的某些主要信息 .特征类型分析的信息论模型利用预测信息量、预测信息增益、预测信息关联度以及预测信息总量四种度量从不同的侧面量化地分析各种特征类型及特征类型组合对于当前目标的预测作用 .实验以 Penn Tree Bank为训练集 ,将上下文中不同的特征类型对于句法分析规则的预测作用进行了系统的量化分析 ,得出了一系列有关不同

引用

页码：144 / 151

页数：8

共 10 条

[1]

Text compression. Bell T C, Cleary J G, Witten I H. . 1992

[2]

Towards history-based grammars: Using richer models of context in probabilistic parsing. Black E, Jelinek F, Lafferty J et al. In: Proc 31st Annual Meeting of the ACL, Columbus, Ohio . 1993

[3]

A new statistical parser based on bigram lexical dependencies. Collins M J. In: Proc 34th Annual Meeting of the ACL, Santa Cruz, CA . 1996

[4]

Building a large annotated corpus of English: the Penn Treebank. Marcus M P, Santorini B, Marcinkiewicz M A. Computational Linguistics . 1993

[5]

Probabilistic prediction and Pickychart parsing. Magerman D M,Weir C. Proc DARPA Speech and Natural LanguageWorkshop . 1992

[6]

Statistical decision-tree models for parsing. Magerman D M. In: Proc 33th Annual Meeting of the ACL, Cambridge, MA . 1995

[7]

A stochastic parts program and noun phrase parser for unrestricted text. Kenneth Ward Church. In: Proc 2nd Conference on Applied Natural Language Processing, ACL, Austin, Texas . 1988

[8]

Statistical parsing with a context -free grammar and word statistics. Charniak E. In: Proc 14th National Conference on Artificial Intelligence, Menlo Park, CA . 1997

[9]

Generalized LR parsing of natural language （ corpora ） with unification-based grammars. Briscoe T, Carroll J. Computational Linguistics . 1993

[10]

Pearl:A probabilistic chartparser. Magerman D M,Marcus M P. Proc European ACL Conference . 1991

← 1 →