基于多模态视觉特征的自然人机交互

被引：6

作者：

管业鹏 ^{[1
,2
]}

机构：

[1] 上海大学通信与信息工程学院

[2] 新型显示技术及应用集成教育部重点实验室

来源：

电子学报 | 2013年 / 41卷 / 11期

基金：

高等学校博士学科点专项科研基金;

关键词：

人机交互; 多模态视觉特征; 非穿戴; 机器学习;

D O I：

暂无

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

针对目前人机交互中存在的问题与不足,提出了一种基于多模态视觉特征的人机交互新方法.采用二维Gabor小波提取全局人脸朝向视觉特征,克服人脸显著特征提取困难,以及不同人脸朝向特征区分的难度性;基于人脸几何分布特征,快速定位人眼中心,无需考虑人脸图像分辨率和人眼闭合及其配戴情况;通过对视觉特征的重要性评价,选取分类特性显著的多模态视觉特征进行机器学习与训练,确定用户所指目标,实现非穿戴自然人机交互,用户无需佩戴任何标记,且其活动不受约束,便于充分发挥其日常技能.通过实验对比,验证了文中所提方法有效、可行,可应用于实时非穿戴自然人机交互中.

引用

页码：2223 / 2229

页数：7

共 9 条

[1] 一种基于模型驱动的笔式界面开发框架研究 [J].

陈明炫 ;

邓昌智 ;

任磊 ;

田丰 ;

戴国忠 .

电子学报, 2011, 39 (02) :268-274

[2] 基于运动变化的指势行为实时判别方法 [J].

贾新丽 ;

管业鹏 ;

成晓晴 .

电视技术, 2011, 35 (01) :129-132

[3] 一种基于立体视觉的视线估计方法 [J].

张闯 ;

迟健男 ;

张朝晖 ;

王志良 .

电子学报, 2010, 38 (05) :1008-1013

[4]

Efficient supervised optimum-path forest classification for large datasets[J] . Pattern Recognition . 2011 (1)

[5] Primary and secondary pragmatic functions of pointing gestures [J].

Enfield, N. J. ;

Kita, Sotaro ;

de Ruiter, J. P. .

JOURNAL OF PRAGMATICS, 2007, 39 (10) :1722-1741

[6]

Object detection using image reconstruction with PCA[J] . Luis Malagón-Borja,Olac Fuentes.Image and Vision Computing . 2007 (1)

[7] Assessing facial beauty through proportion analysis by image processing and supervised learning [J].

Gunes, Hatice ;

Piccardi, Massimo .

INTERNATIONAL JOURNAL OF HUMAN-COMPUTER STUDIES, 2006, 64 (12) :1184-1199

[8] Guidelines for multimodal user interface design [J].

Reeves, LM ;

Lai, J ;

Larson, JA ;

Oviatt, S ;

Balaji, TS ;

Buisine, S ;

Collings, P ;

Cohen, P ;

Kraal, B ;

Martin, JC ;

McTear, M ;

Raman, TV ;

Stanney, KM ;

Su, H ;

Wang, QY .

COMMUNICATIONS OF THE ACM, 2004, 47 (01) :57-59

[9]

Communication without words .2 Albert Mehrabian. Psychology Today . 1968

← 1 →