3D混杂场景中机械臂自主分拣小目标的方法

被引：8

作者：

任秉银

魏坤

代勇

机构：

[1] 哈尔滨工业大学机电工程学院

来源：

哈尔滨工业大学学报 | 2019年 / 51卷 / 07期

关键词：

机械臂; 3D感知; 小目标; 手眼相机; CAD模型; 模板匹配; 自主分拣;

D O I：

暂无

中图分类号：

TP391.41 []; TP241 [机械手];

学科分类号：

080203 ; 080202 ; 1405 ;

摘要：

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.

引用

页码：42 / 48

页数：7

共 9 条

[1] 一种非结构环境下目标识别和3D位姿估计方法 [J].

任秉银 ;

魏坤 ;

代勇 .

哈尔滨工业大学学报, 2019, 51 (01) :38-44

[2] 基于机器视觉的超视场工件识别抓取系统 [J].

刘正琼 ;

万鹏 ;

凌琳 ;

陈莉 ;

李学飞 ;

周文霞 .

机器人, 2018, 40 (03) :294-300+308

[3]

用于三维目标识别的系统和方法[P]. 克里斯蒂安·维德曼;马库斯·乌尔里希;卡斯滕·斯蒂格.中国专利:CN101408931A,2009-04-15

[4]

Texture-less object detection and 6D pose estimation in RGB-D images[J] . Haoruo Zhang,Qixin Cao.Robotics and Autonomous Systems . 2017

[5]

Real-time pose estimation of rigid objects in heavily cluttered environments[J] . Bla? Bratani?,Franjo Pernu?,Bo?tjan Likar,Dejan Toma?evi?.Computer Vision and Image Understanding . 2015

[6]

Factorization of view-object manifolds for joint object recognition and pose estimation[J] . Haopeng Zhang,Tarek El-Gaaly,Ahmed Elgammal,Zhiguo Jiang.Computer Vision and Image Understanding . 2015

[7]

DP-PMK: an improved pyramid matching kernel for approximating correspondences in high dimensions[J] . Jun Zhang,Guangzhou Zhao,Hong Gu.Neural Computing and Applications . 2012 (6)

[8] 3D object recognition and pose with relational indexing [J].

Costa, MS .

COMPUTER VISION AND IMAGE UNDERSTANDING, 2000, 79 (03) :364-407

[9]

Manipulator and object tracking for in-hand 3D object modeling .2 Michael Krainin,Peter Henry,Xiaofeng Ren,Dieter Fox. The International Journal of Robotics Research . 2011

← 1 →