表情和姿态的双模态情感识别

被引：15

作者：

闫静杰 ^{[1
]}

郑文明 ^{[2
]}

辛明海 ^{[2
]}

邱伟 ^{[2
]}

机构：

[1] 不详

[2] 东南大学信息科学与工程学院

[3] 不详

[4] 东南大学学习科学研究中心

[5] 不详

来源：

中国图象图形学报 | 2013年 / 09期

关键词：

表情; 姿态; 双模态情感识别; 空时特征; 双边稀疏偏最小二乘(BSPLS);

D O I：

暂无

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

多模态情感识别是当前情感计算研究领域的重要内容,针对人脸表情和动作姿态开展双模态情感识别研究,提出一种基于双边稀疏偏最小二乘的表情和姿态的双模态情感识别方法。首先,从视频图像系列中分别提取表情和姿态两种模态的空时特征作为情感特征矢量。然后,通过双边稀疏偏最小二乘(BSPLS)的数据降维方法来进一步提取两组模态中的情感特征,并组合成新的情感特征向量。最后,采用了两种分类器来进行情感的分类识别。以国际上广泛采用的FABO表情和姿态的双模态情感数据库为实验数据,并与多种子空间方法(主成分分析、典型相关分析、偏最小二乘回归)进行对比实验来评估本文方法的识别性能。实验结果表明,两种模态融合后相比单模态更加有效,双边稀疏偏最小二乘(BSPLS)算法在几种方法中得到最高的情感识别率。

引用

页码：1101 / 1106

页数：6

共 7 条

[1]

Recognizing expressions from face and body gesture by temporal normalized motion and appearance features[J] . Shizhi Chen,YingLi Tian,Qingshan Liu,Dimitris N. Metaxas.Image and Vision Computing . 2012

[2]

Partial Least Squares (PLS) methods for neuroimaging: A tutorial and review[J] . Anjali Krishnan,Lynne J. Williams,Anthony Randal McIntosh,Hervé Abdi.Neuroimage . 2010 (2)

[3]

Survey on speech emotion recognition: Features, classification schemes, and databases[J] . Moataz El Ayadi,Mohamed S. Kamel,Fakhri Karray.Pattern Recognition . 2010 (3)

[4]

Bi-modal emotion recognition from expressive face and body gestures[J] . Hatice Gunes,Massimo Piccardi.Journal of Network and Computer Applications . 2006 (4)

[5]

Attributing Emotion to Static Body Postures: Recognition Accuracy, Confusions, and Viewpoint Dependence[J] . Mark Coulson.Journal of Nonverbal Behavior . 2004 (2)

[6]

Recognizing emotion from dance movement: comparison of spectator recognition and automated techniques[J] . International Journal of Human - Computer Studies . 2003 (1)

[7]

To feel or not to feel: The role of affect in human–computer interaction[J] . Eva Hudlicka.International Journal of Human - Computer Studies . 2003 (1)

← 1 →