基于统计的语言处理模型的局限性

被引：30

作者：

袁毓林

机构：

[1] 北京大学中文系北京

来源：

语言文字应用 | 2004年 / 02期

关键词：

统计模型; 有限状态语法; 马尔科夫过程; 递归性; 结构依赖性;

D O I：

10.16499/j.cnki.1003-5397.2004.02.028

中图分类号：

H08 [应用语言学];

学科分类号：

050110 [应用语言学];

摘要：

本文通过介绍和评论基于统计的语言处理模型的工作原理和有关的应用实例 ,从语言学理论的角度来说明统计模型的局限性。通过讨论N元语法模型及其在词类标注上的应用 ,展示基于统计的语言处理模型的工作原理及其应用。讨论了语言结构的递归性特点和语言学知识的结构依赖性特点 ,指出递归嵌入会使得统计规律被任意数目的嵌入词语打乱 ,语言学知识的结构依赖性将使得统计模型赖以实现的独立性假设失效

引用

页码：99 / 108

页数：10

共 7 条

[1]

统计语言模型能做什么? [J].

黄昌宁 .

语言文字应用, 2002, (01) :77-84

[2]

语料库语言学.[M].黄昌宁;李涓子著;.商务印书馆.2002,

[3]

计算语言学导论.[M].翁富良;王野翊著;.中国社会科学出版社.1998,

[4]

统计学.[M].(美)[D.弗里德曼]DavidFreedman等著;魏宗舒等译;.中国统计出版社.1997,

[5]

人工智能原理.[M].石纯一等编著;.清华大学出版社.1993,

[6]

语言与语言学词典.[M].黄长著;林书武;卫志强;周绍珩译;李振麟;俞琼校.上海辞书出版社.1981,

[7]

句法结构.[M].[美]诺姆·乔姆斯基著;邢公畹;庞秉均;黄长著;林书武译.中国社会科学出版社.1979,

← 1 →