基于递归神经网络的文本分类研究

被引：40

作者：

黄磊

杜昌顺

机构：

[1] 北京交通大学经济管理学院

来源：

北京化工大学学报(自然科学版) | 2017年 / 44卷 / 01期

关键词：

文本分类; 深度学习; 长短项记忆(LSTM); 门阀递归单元(GRU); 双向递归神经网络; 词向量;

D O I：

10.13543/j.bhxbzr.2017.01.017

中图分类号：

TP391.1 [文字信息处理]; TP183 [人工神经网络与计算];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

使用基于长短项记忆(LSTM)和门阀递归单元(GRU)计算节点的双向递归神经网络提取文本特征,然后使用softmax对文本特征进行分类。这种基于深度学习的神经网络模型以词向量作为基本输入单元,充分考虑了单词的语义和语法信息,并且在神经网络的计算过程中严格遵守单词之间的顺序,保留原文本中语义组合的方式,可以克服传统文本分类方法的不足。使用本文所提方法在第三届自然语言处理和中文计算会议(NLPCC 2014)公布的新华社新闻分类语料和路透社RCV1-v2语料上进行实验,其分类F1值分别达到了88.3%和50.5%,相较于传统的基线模型有显著的提升。由于该方法不需要人工设计特征,因此具有很好的可移植性。

引用

页码：98 / 104

页数：7

共 6 条

[1] 一种结合有监督学习的动态主题模型 [J].

蒋卓人 ;

陈燕 ;

高良才 ;

汤帜 ;

刘晓钟 .

北京大学学报(自然科学版), 2015, 51 (02) :367-376

[2] 基于LDA模型的文本分类研究 [J].

姚全珠 ;

宋志理 ;

彭程 .

计算机工程与应用 , 2011, (13) :150-153

[3] 基于关键短语的文本分类研究 [J].

刘华 .

中文信息学报, 2007, (04) :34-41

[4] 基于SVM的多类文本分类研究 [J].

张爱丽 ;

刘广利 ;

刘长宇 ;

不详 .

情报杂志 , 2004, (09) :6-7+10

[5]

Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J] . Alex Graves,Jürgen Schmidhuber.Neural Networks . 2005 (5)

[6]

Convolutional-recursive deep learning for 3D object classification .2 Socher R,Huval B,Bath B,et al. Advances in Neural Information Processing Systems . 2012

← 1 →