虚拟维修训练中的手势识别

为在虚拟维修训练中实现更加自然高效的人机交互,增强维修训练人员的沉浸感,提出一种基于Kinect深度图像和骨骼数据的手势识别方法。通过对维修样机和维修资源的维修特征进行研究,建立基于维修特征的维修动作集合,定义维修操作的常用手势库;在分析和构建手势识别系统流程的基础上,结合Kinect深度图像和骨骼数据实现手势图像的分割,基于形态学闭运算完成手势分割图的预处理,采用Zernike矩的方法实现对常用手势的识别。将该方法应用于机械设备的虚拟维修训练中,结果验证了该方法的可行性和有效性。