基于卷积神经网络的自适应权重multi-gram语句建模系统

被引：8

作者：

张春云 ^{[1
]}

秦鹏达 ^{[2
]}

尹义龙 ^{[3
]}

机构：

[1] 山东财经大学计算机科学与技术学院

[2] 北京邮电大学信息与通信工程学院

[3] 山东大学计算机科学与技术学院

来源：

计算机科学 | 2017年 / 44卷 / 01期

基金：

国家自然科学基金重点项目;

关键词：

深度学习; 自然语言处理; 自适应权重; multi-gram;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP183 [人工神经网络与计算];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

如今信息量呈爆炸式增长,自然语言处理得到了越来越广泛的重视。传统的自然语言处理系统过多地依赖昂贵的人工标注特征和语言分析工具的语法信息,导致预处理中语法信息的错误传递到系统训练和预测过程中。因此,深度学习的应用受到了学者们的关注。因为它能实现端对端预测并尽可能少地依赖外部信息。自然语言处理领域流行的深度学习框架为了更好地获取句子信息,采用multi-gram策略。但不同任务和不同数据集的信息分布状况不尽相同,而且这种策略并没有考虑到不同n-gram的重要性分布。针对该问题,提出了一种基于深度学习的自适应学习multi-gram权重的策略,从而根据各n-gram特征的贡献为其分配相应的权重;并且还提出了一种新的multigram特征向量结合方法,大大降低了系统复杂度。将该模型应用到电影评论正负倾向判断和关系分类两种分类任务中,实验结果证明采用的自适应multi-gram权重策略能够大大改善模型的分类效果。

引用

页码：60 / 64

页数：5

共 22 条

[1]

http://www.csdn.net/article/2015-12-16/2826498 .

[2]

SemEval-2010 Task 8:Multi-Way Classification of Semantic Relations Between Pairs of Nominals. I. Hendrickx,S. N. Kim,Z. Kozareva,P. Nakov,D.O S’’eaghdha,S. Pado, et al. Proceedings of the NAACL HLT Workshop on Semantic Evaluations:Recent Achievements and Future Directions . 2009

[3]

Seeing stars:Exploiting class relationships for sentiment categorization with respect to rating scales. PANG, Bo,LEE, Lillian. Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics . 2005

[4]

https://code.google.com/p/ word2vec/ .

[5]

Reducing the dimensionality of data with neural networks. G. E. Hinton,R. R. Salakhutdinov. Science . 2006

[6]

Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups. Hinton, G.,Li Deng,Dong Yu,Dahl, G.E.,Mohamed, A.,Jaitly, N.,Senior, A.,Vanhoucke, V.,Nguyen, P.,Sainath, T.N.,Kingsbury, B. Signal Processing . 2012

[7]

Natural language processing (almost) from scratch. Collobert, Ronan,Weston, Jason,Bottou, Léon,Karlen, Michael,Kavukcuoglu, Koray,Kuksa, Pavel. Journal of Machine Learning Research . 2011

[8]

Deep learning. Lecun Y,Bengio Y,Hinton G. Nature . 2015

[9]

Relation Classification via Convolutional Deep Neural Network. ZENG D,LIU K,LAI S. COLING . 2014

[10]

Deep sparse rectifier neural networks. Glorot, Xavier,Bordes, Antoine,Bengio, Yoshua. Journal of Machine Learning Research;Proceedings of the 14th International Conference on Artificial Intelligence and Statistics, AISTATS 2011 . 2011

← 1 2 3 →