在机器人视觉系统中,如何对带有旋转的运动物体进行快速准确检测和轨迹预测具有很重要的研究意义以及应用价值;乒乓球机器人自上个世纪80年代以来就吸引大量研究者深入研究,在当下的技术背景下,随着AI技术的发展,对乒乓球机器人的研究具有更广阔的前景。本文聚焦于乒乓球机器人的视觉系统,以旋转乒乓球为研究对象,深入探讨深度学习在乒乓球机器人视觉系统中的可行性,并且在七自由度库卡机械臂实物系统中进行验证。本文制作了可用于深度学习网络训练的乒乓球数据集。在双目视觉系统下,采集了实验室环境下不同光照背景下的乒乓球数据以及通过网络获取2000张比赛场景下的乒乓球图片数据,在此基础上对部分图像进行了一些预处理工作以增加数据集的丰富度。对于每张图片都进行人工标注标签信息供网络学习。最后构造了8000多张乒乓球图像数据,为后续的工作打下了基础。本文设计了基于特征融合网络的乒乓球目标检测网络。在特征提取网络中采用跨层连接网络（CSPNet）加强卷积神经网络的学习能力并且减少了网络的参数量以提高网络检测速度;针对现有网络对乒乓球这类小目标检测精度低定位能力差的问题,本文采用了特征融合网络,在特征金字塔网络的基础上再增加一个自下而上的连接,最后用自适应池化法融合各个特征图的特征信息,将上层语义信息丰富的特征层与下层富含目标位置信息的特征层连接起来进行特征融合,增强网络对小目标的定位能力。由于本文的网络只需要对乒乓球目标进行检测,而单张图片中乒乓球目标较小,造成训练成本的浪费,因此本文提出了一种新的数据增强方法,训练时将每张图片中的乒乓球复制多份,基于现有数据进一步增加了数据集的丰富度。在经过网络结构调整优化后,本文的网络可以完成在不同背景及光照条件下对乒乓球的实时跟踪和准确定位。本文搭建了基于LSTM的旋转乒乓球轨迹预测网络。通过将LSTM网络进行堆叠可以实现对乒乓球运动轨迹的预测任务,并且满足了实时性和一定的准确性。对于不同类型的旋转球,在其运动轨迹中都有着其特定的轨迹变化规律可循;因此,本文尝试根据乒乓球的飞行轨迹来反推出乒乓球的大致旋转类型。本文将乒乓球运动分解为三个坐标方向的运动,通过获取到的乒乓球前五个时刻的三维坐标信息来计算乒乓球在三个坐标轴方向上的运动速度,通过速度与设定的阈值的比较来判断其大致旋转的类型,对不同旋转类型的球控制机器人末端关节以特定的角度击球,对于乒乓球机器人的击球成功率有有效提升。相对于传统的物理模型,本文的网络具有更高的抗干扰能力和精确度。最后本文在七自由度库卡机械臂实物系统中对本文的研究方法进行实物验证。