机器人抓取操作是诸多机器人操作任务中的基础任务,需要机器人对所处环境具有感知能力,能够对获取到的传感信息进行处理理解,最终进行决策并完成抓取操作。本文以机器人抓取规划为研究目标,围绕机器人对环境的感知、传感信息的处理与理解、以及感知信息到操作空间映射这三个挑战性问题,开展了系统的研究,主要完成了以下四个方面的研究工作:(1)考虑利用三维视觉感知,本文提出并研究实现了一种基于目标物三维模型的机器人抓取规划方法。利用超二次曲面拟合由三维摄像机得到的目标物点云数据。该算法同时考虑目标物模型,灵巧手运动学模型以及力封闭约束之间的关系,通过优化目标函数的方法求解得到灵巧手的抓取位姿,并分别在仿真环境和实际实验环境中对算法进行了分析与验证。实验结果表明,该抓取规划方法不仅能够得到稳定的抓取位姿并且规划结果符合人手协同抓取控制的规律。但当目标物形状、材质比较特殊或者操作环境比较复杂的时候,三维摄像机无法获取目标物完整的点云数据,因此很难精确地对目标物进行三维建模,该方法存在一定局限性。(2)将深度学习的方法应用于机器人的抓取操作任务,考虑实际实验操作环境,本文提出并验证了一种共享型卷积神经网络模型,该模型可以从图像中挖掘出与抓取操作相关的视觉特征,具有良好的鲁棒性;并能够同时完成对目标物的识别与目标物抓取点检测任务。实验结果表明,目标物的识别与抓取点检测这两个任务之间存在一定的内在联系,将这两个任务同时通过一个共享型网络求解的结果优于彼此单独求解的结果。此外,将所提出的共享型卷积神经网络应用于实际机器人操作平台,可成功地完成复杂环境下对目标物的识别与抓取操作。(3)利用抓取矩形框表示机器人灵巧手的抓取位姿,本文提出一个端到端的抓取检测卷积神经网络,为提升检测效率,在该网络中设计使用了抓取参考矩形框。通过该抓取检测卷积神经网络模型,可实时地完成从图像到灵巧手抓取位姿的映射。作者另搭建了一套全自动机器人抓取操作系统并利用该系统采集了一套由机器人自主标注的抓取数据集。在该数据集的采集过程中,机器人通过灵巧手指尖的触觉信息判断抓取的稳定性并对抓取数据进行了标注。实验结果表明,该网络在计算实时性和准确性方面都具有良好的性能,并优于现有主流方法。经实际操作平台验证,用本文提出的抓取检测深度网络可有效提高机器人抓取的成功率。(4)在实际环境中,由于目标物材质、形状的特殊性或标定误差,既定的抓取规划结果很可能会失效。为此,作者提出并研制了一种发射型接近觉传感器,可以实现在接近而不接触目标物时得到目标物与传感器之间的相对位置关系。该传感器使用方便、快速、可靠,已被集成安装在PR2机器人灵巧手的两个手指指尖上,辅以视觉传感器,可以在机器人进行抓取操作前进行实时有效的接近觉检测,修正完善抓取规划结果,提高机器人抓取操作的成功率。实验结果表明,利用发射型接近觉传感器,机器人可在抓取操作前完成对目标物边缘和物体中心点的检测,找到适合的抓取点,成功实现了对特定形状、特殊材质目标物的抓取操作。