语言先验知识对神经网络模型自然语言处理任务的影响

被引：6

作者：

贝超

胡珀

机构：

[1] 华中师范大学计算机学院

来源：

中文信息学报 | 2017年 / 06期

关键词：

神经网络; 自然语言处理; 先验知识;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算]; TP391.1 [文字信息处理];

学科分类号：

摘要：

随着互联网的发展及硬件的更新,神经网络模型被广泛应用于自然语言处理、图像识别等领域。目前,结合传统自然语言处理方法和神经网络模型正日益成为研究的热点。引入先验知识代表了传统方法的惯例,然而它们对基于神经网络模型的自然语言处理任务的影响尚不清楚。鉴于此,该文尝试探究语言层先验知识对基于神经网络模型的若干自然语言处理任务的影响。根据不同任务的特点,比较了不同先验知识和不同输入位置对不同神经网络模型的影响。通过大量的对比实验发现:先验知识并不是对所有任务都适用,在神经网络模型的合适位置加入合适的先验知识方可加快模型的收敛速度,提高相关任务的效果。

引用

页码：10 / 17

页数：8

共 15 条

[1]

Imagenet classification with deep convolutional neural networks. Krizhevsky A,Sutskever I,Hinton G E. Advances in Neural Information Processing Systems . 2012

[2]

https://github.com/OpenNMT/OpenNMT .

[3]

Neural machine translation by jointly learning to align and translate. Bahdanau D,Cho K,Bengio Y. . 2014

[4]

Generalized inference with multiple semantic role labeling systems. Koomen P,Punyakanok V,Roth D,et al. Proceedings of the 9th Conference on Computational Natural Language Learning . 2005

[5]

Character-level convolutional networks for text classification. X.Zhang,J.Zhao,Y.Le Cun. Advances in Neural Information Processing Systems . 2015

[6] SUPPORT-VECTOR NETWORKS [J].

CORTES, C ;

VAPNIK, V .

MACHINE LEARNING, 1995, 20 (03) :273-297

[7]

Recurrent convolutional neural networks for text classification. Lai S,Xu L,Liu K,Zhao J. Proceedings of AAAI . 2015

[8]

Sequence to sequence learning with neural networks. Sutskever I,Vinyals 0,Le QVV. Advances in Neural Information Processing Systems . 2014

[9]

Statistical Phrase-based Translation. Philipp Koehn,Franz Josef Och,Daniel Marcu. Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology . 2003

[10]

RES[P]. 澳大利亚专利:AU5679373A,1974-12-12

← 1 2 →