基于注意力CNLSTM模型的新闻文本分类

被引:20
作者
刘月
翟东海
任庆宁
机构
[1] 西南交通大学信息科学与技术学院
关键词
卷积神经网络; 特征表示; 嵌套长短期记忆网络; 注意力机制; 文本分类;
D O I
10.19678/j.issn.1000-3428.0051312
中图分类号
TP391.1 [文字信息处理]; TP183 [人工神经网络与计算];
学科分类号
081203 ; 0835 ; 081104 ; 0812 ; 1405 ;
摘要
结合卷积神经网络(CNN)和嵌套长短期记忆网络(NLSTM)2种模型,基于注意力机制提出一个用于文本表示和分类的CNLSTM模型。采用CNN提取短语序列的特征表示,利用NLSTM学习文本的特征表示,引入注意力机制突出关键短语以优化特征提取的过程。在3个公开新闻数据集中进行性能测试,结果表明,该模型的分类准确率分别为96.87%、95.43%和97.58%,其性能比baseline方法有显著提高。
引用
收藏
页码:303 / 308+314 +314
页数:7
相关论文
共 12 条
[1]  
基于Attention-Based LSTM模型的文本分类技术的研究.[D].张冲.南京大学.2016, 10
[2]   Long short-term memory [J].
Hochreiter, S ;
Schmidhuber, J .
NEURAL COMPUTATION, 1997, 9 (08) :1735-1780
[3]   基于深层注意力的LSTM的特定主题情感分析 [J].
胡朝举 ;
梁宁 .
计算机应用研究, 2019, 36 (04) :1075-1079
[4]   基于注意力机制的微博情感分析 [J].
周瑛 ;
刘越 ;
蔡俊 .
情报理论与实践, 2018, 41 (03) :89-94
[5]   基于VDCNN与LSTM混合模型的中文文本分类研究 [J].
彭玉青 ;
宋初柏 ;
闫倩 ;
赵晓松 ;
魏铭 .
计算机工程, 2018, 44 (11) :190-196
[6]   基于CNN和LSTM混合模型的中文词性标注 [J].
谢逸 ;
饶文碧 ;
段鹏飞 ;
陈振东 .
武汉大学学报(理学版), 2017, 63 (03) :246-250
[7]   基于多种特征池化的中文文本分类算法附视频 [J].
阳馨 ;
蒋伟 ;
刘晓玲 .
四川大学学报(自然科学版), 2017, (02) :287-292
[8]   基于递归神经网络的文本分类研究 [J].
黄磊 ;
杜昌顺 .
北京化工大学学报(自然科学版), 2017, 44 (01) :98-104
[9]   基于事件卷积特征的新闻文本分类 [J].
夏从零 ;
钱涛 ;
姬东鸿 .
计算机应用研究, 2017, 34 (04) :991-994
[10]   结合卷积神经网络和词语情感序列特征的中文情感分析 [J].
陈钊 ;
徐睿峰 ;
桂林 ;
陆勤 .
中文信息学报, 2015, 29 (06) :172-178