基于跨模态上下文感知注意力的多模态情感分析

被引：11

作者：

王雨竹 ^{[1
]}

谢珺 ^{[1
]}

陈波 ^{[1
]}

续欣莹 ^{[2
]}

机构：

[1] 太原理工大学信息与计算机学院

[2] 太原理工大学电气与动力工程学院

来源：

数据分析与知识发现 | 2021年 / 04期

关键词：

多模态; 特征融合; 情感分析; 上下文感知; 注意力机制;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

【目的】应用多模态情感分析方法,从视频信息中挖掘表达者观点,进而分析用户的情感表达。【方法】引入双模态和三模态两个层次的跨模态上下文信息帮助获取文本、视觉及语音三模态间的交互信息,并使用注意力机制过滤冗余信息,根据融合信息进行情感分析。【结果】在MOSEI数据集上,情感分类的准确率和F1值分别达到80.27%和79.23%,较基准方法的最高值分别提高了0.47%和0.87%;回归分析的平均绝对误差降低为0.66。【局限】MOSI数据集规模小,模型训练阶段出现过拟合现象,情感预测效果受限。【结论】所提模型能够充分利用不同模态间的交互信息,有效提升多模态情感预测的准确性。

引用

页码：49 / 59

页数：11

共 9 条

[1] 多模态情感分析研究综述 [J].

张亚洲 ;

戎璐 ;

宋大为 ;

张鹏 .

模式识别与人工智能, 2020, 33 (05) :426-438

[2] 社交媒体情境下的情感分析研究综述 [J].

谭荧 ;

张进 ;

夏立新 .

数据分析与知识发现, 2020, 4 (01) :1-11

[3]

Multimodal sentiment analysis using hierarchical fusion with context modeling[J] . N. Majumder,D. Hazarika,A. Gelbukh,E. Cambria,S. Poria. Knowledge-Based Systems . 2018

[4]

Multi-attention Recurrent Network for Human Communication Comprehension.[J] . Zadeh Amir,Liang Paul Pu,Poria Soujanya,Vij Prateek,Cambria Erik,Morency Louis-Philippe. Proceedings of the ... AAAI Conference on Artificial Intelligence. AAAI Conference on Artificial Intelligence . 2018

[5]

Multimodal Sentiment Intensity Analysis in Videos: Facial Gestures and Verbal Messages.[J] . Amir Zadeh,Rowan Zellers,Eli Pincus,Louis-Philippe Morency. IEEE Intelligent Systems . 2016 (6)

[6]

YouTube Movie Reviews: Sentiment Analysis in an Audio-Visual Context.[J] . Martin W?llmer,Felix Weninger,Tobias Knaup,Bj?rn W. Schuller,Congkai Sun,Kenji Sagae,Louis-Philippe Morency. IEEE Intelligent Systems . 2013 (3)

[7]

Multimodal fusion for multimedia analysis: a survey[J] . Pradeep K. Atrey,M. Anwar Hossain,Abdulmotaleb El Saddik,Mohan S. Kankanhalli. Multimedia Systems . 2010 (6)

[8]

Multimodal language analysis in the wild:CMU-MOSEI dataset and interpretable dynamic fusion graph .2 Zadeh A,Liang P P,Vanbriesen J,et al. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics . 2018

[9]

Large-scale video classification with convolutional neural networks .2 KARPATHY A,TODERICI G,SHETTY S,et al. Computer Vision and Pattern Recognition . 2014

← 1 →