基于强化学习和视觉导航的移动机器人控制

近年来,机器人的应用越来越广泛,然而,实际环境是动态的,充满了不确定性,要想使机器人的应用深入到社会各个方面,机器人必须具有较高的智能。在中科院沈阳自动化研究所机器人学重点开放实验室“基于视觉感知的机器人行为控制技术研究”项目的支持下,对移动机器人的控制策略和视觉导航技术进行了深入的研究,主要的工作和创新点包括: 详细的分析了当前国内外移动机器人控制技术的研究现状,通过对移动机器人的研究,提出了基于强化学习的移动机器人控制策略,把Q学习算法和BP神经网络相结合,采用人工势场法来确定强化函数值,进而实现移动机器人在不确定环境下的避障任务,最终控制移动机器人到达目标。 设计了移动机器人的远程监控界面。通过对机器人的远程监控,可以实时监控移动机器人在环境中的运动情况,从而避免碰撞情况产生。 详细分析了移动机器人视觉导航技术的研究现状,应用一个具有俯仰摇摆式动态视觉装置,使其能够在更广的视野内获取信息,并与距离传感器所获得的信息进行融合来指导机器人动作。通过图像采集卡,对采集的图像进行处理,最后实现图像的匹配,主要用Visual C++来实现各种图像处理算法。 提出了一种新的视觉定位方法,用此方法测出移动机器人与目标物体之间的相对距离。当目标物体在移动机器人视野范围内时,移动机器人根据所测的距离做出相应的动作行为。 详细的分析了摄像头的运动,并对摄像头的运动进行了规划。摄像头的控制主要是单片机通过串口来进行控制。 设计了RIRAII移动机器人硬件结构,并对RIRAII移动机器人的硬件结构进行了分析和探讨。其硬件结构主要由无线传输模块、驱动模块、测距模块、视觉模块等组成,各个模块的控制核心为单片机和PC机。 最后进行了仿真和实验,并对实验结果进行了分析,结果表明,研究成果能有效的实现移动机器人在未知环境下对目标物体的搜寻和跟踪。