基于稀疏自学习卷积神经网络的句子分类模型

被引：11

作者：

高云龙 ^{[1
,2
]}

左万利 ^{[1
,2
]}

王英 ^{[1
,2
]}

王鑫 ^{[2
,3
]}

机构：

[1] 吉林大学计算机科学与技术学院

[2] 符号计算与知识工程教育部重点实验室(吉林大学)

[3] 长春工程学院计算机技术与工程学院

来源：

计算机研究与发展 | 2018年 / 55卷 / 01期

关键词：

CNN; 稀疏; 自学习; 分类; L1范数;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算]; TP391.1 [文字信息处理];

学科分类号：

摘要：

句子分类模型的建立对于自然语言理解的研究有着十分重要的意义.基于卷积神经网络(convolutional neural networks,CNN)提取数据特征的特点,提出基于稀疏自学习卷积神经网络(sparse and self-taught CNN,SCNN)的句子分类模型.首先,在卷积层排除人为约定的特征map输入,自学习前一层输入的特征矩阵的有效组合,动态捕获句子范围内各个特征的有效关联;然后,在训练过程中利用L1范数增加稀疏性约束,降低模型复杂度;最后,在采样层利用K-Max Pooling选择句子中最大特征的序列,并保留特征之间的相对次序.SCNN可以处理变长的句子输入,模型的建立不依赖于句法、分析树等语言学特征,从而适用于任何一种语言.通过对语料库进行句子分类实验,验证了所提出模型有较好的分类效果.

引用

页码：179 / 187

页数：9

共 5 条

[1]

An empirical convolutional neural network approach for semantic relation classification[J] . Pengda Qin,Weiran Xu,Jun Guo.Neurocomputing . 2015

[2]

Deep learning for visual understanding: A review[J] . Yanming Guo,Yu Liu,Ard Oerlemans,Songyang Lao,Song Wu,Michael S. Lew.Neurocomputing . 2015

[3]

An empirical study of sentence features for subjectivity and polarity classification[J] . Jose M. Chenlo,David E. Losada.Information Sciences . 2014

[4]

Inferring the semantic properties of sentences by mining syntactic parse trees[J] . Boris A. Galitsky,Josep Lluis de la Rosa,Gábor Dobrocsi.Data ＆ Knowledge Engineering . 2012

[5]

http://www.cs.uic.edu/-liub/FBS/sentiment-analysis.html .

← 1 →