基于深度学习的多模态融合网民情感识别研究

被引：46

作者：

范涛 ^{[1
]}

吴鹏 ^{[1
]}

曹琪 ^{[2
]}

机构：

[1] 南京理工大学经济管理学院

[2] 中国科学院科技战略咨询研究院

来源：

信息资源管理学报 | 2020年 / 01期

关键词：

网民情感; 多模态融合; 情感识别; 双向长短期记忆模型; 微调卷积神经网络; 网络舆情; 舆情监测;

D O I：

暂无

中图分类号：

TP18 [人工智能理论]; G252 [读者工作];

学科分类号：

050302 [传播学]; 140502 [人工智能];

摘要：

现有网民情感识别研究多基于文本这一单模态,缺乏结合网民所发的文本及附带的图片来识别网民情感的研究。本文基于深度学习设计多模态融合网民情感识别模型,利用词向量模型对文本进行表示,并构建BiLSTMs模型提取文本情感特征,构建基于迁移学习的微调CNNs提取图片情感特征;将提取的文本和图片情感特征进行特征层融合后,输入至SVM中,实现多模态融合网民情感识别,同时将构建的多模态融合网民情感识别模型(DNNs-SVM)与设计的基线模型做实验效果对比,基线模型分别是word2vec+BiLSTMs、BERT+BiLSTMs、CNNs、微调CNNs和DNNs。实验结果表明,融合文本和图片特征的多模态融合情感识别结果优于单模态情感识别结果,多模态融合DNNs-SVM模型均优于所设计的基线模型。

引用

页码：39 / 48

页数：10

共 15 条

[1]

基于双向长短期记忆模型的网民负面情感分类研究 [J].

吴鹏 ;

应杨 ;

沈思 .

情报学报, 2018, 37 (08) :845-853

[2]

面向舆情大数据的网民情绪演化机理及趋势预测研究 [J].

兰月新 ;

夏一雪 ;

刘冰月 ;

高扬 ;

李增 .

情报杂志 , 2017, (11) :134-140

[3]

基于深度学习和OCC情感规则的网络舆情情感识别研究 [J].

吴鹏 ;

刘恒旺 ;

沈思 .

情报学报, 2017, 36 (09) :972-980

[4]

用于微博情感分析的一种情感语义增强的深度学习模型 [J].

何炎祥 ;

孙松涛 ;

牛菲菲 ;

李飞 .

计算机学报, 2017, 40 (04) :773-790

[5]

基于迁移学习微博情绪分类研究——以H7N9微博为例 [J].

周清清 ;

章成志 .

情报学报, 2016, 35 (04) :339-348

[6]

Multimodal sentiment analysis using hierarchical fusion with context modeling[J] N. Majumder;D. Hazarika;A. Gelbukh;E. Cambria;S. Poria Knowledge-Based Systems 2018,

[7]

A CNN-SVM combined model for pattern recognition of knee motion using mechanomyography signals[J] Haifeng Wu;Qing Huang;Daqing Wang;Lifu Gao Journal of Electromyography and Kinesiology 2018,

[8]

A review of affective computing: From unimodal analysis to multimodal fusion[J] Soujanya Poria;Erik Cambria;Rajiv Bajpai;Amir Hussain Information Fusion 2017,

[9]

From pixels to sentiment: Fine-tuning CNNs for visual sentiment prediction[J] Víctor Campos;Brendan Jou;Xavier Giró-i-Nieto Image and Vision Computing 2017,

[10]

Improving sentiment analysis via sentence type classification using BiLSTM-CRF and CNN[J] Tao Chen;Ruifeng Xu;Yulan He;Xuan Wang Expert Systems With Applications 2017,

← 1 2 →