在我国目前的盾构施工中,在管片的抓取环节以及拼装环节都需要高度依赖人工来进行抓取设备与管片的对准以及拼装时管片位姿的调整,这无疑使得拼装的精度要依赖于人眼以及施工人员的经验,并且人工拼装也使得整个隧道的掘进速度较为缓慢。针对以上问题,本文在盾构施工的管片抓取环节以及管片拼装环节展开视觉自动化的研究,并且在经典的图像处理的基础上引入深度学习的相关理论并针对管片拼装施工中的各类施工条件提高自动化控制的效率;除此之外,本文还利用深度学习对拼装环节中管片的拼装质量进行检测,作为图像伺服控制下管片拼装的质量检测。首先本文对管片抓取环节进行研究:提出了一种针对管片抓取的标注方案,并采用Faster-Rcnn作为识别管片的算法,最终的识别准确率达到95%左右,10张图片平均识别时间为2.31秒,同时避免了相似形状的管片难以识别的问题。针对管片运送至工作区堆放的特点,将抓取管片的问题转化为直接抓取管片螺栓,进而将测量管片位姿的复杂问题简化为直接对管片螺栓的位置测量问题。而对于管片位置的测量,本文采用多信息融合,即RGB信息和深度信息,来完成完整坐标的获取。首先使用SIFT特征匹配识别管片螺栓,而为了避免识别到位于工作区其他管片上的螺栓,使用所提出的管片识别算法将目标管片筛选出来,进而使用混合注意力机制提高识别算法在0.8这一更加严苛交并比下的识别效果并使得识别准确率维持在96%左右,并使用Grad-Cam技术从侧面验证了更高准确率的原因,最终避免其他管片螺栓的误识别问题;在获取管片螺栓在像素平面上的坐标后,利用标定好的内参数矩阵获取实际的平面坐标,并结合外参数矩阵联合深度相机补充的深度信息获取完整的管片螺栓坐标,该测量方法的误差在3 mm内,满足测量的精度要求。最后,与传统的靶标测量方式进行对比,观察二者在控制过程中的表现,也证明了本文所提出的信息融合位置测量方法要优于传统的靶标法。接着本文对管片拼装的伺服控制进行研究:利用合作式靶标进行目标点提取,并利用图像雅可比矩阵实现像素平面到运动关节的速度转化,使用PD控制器并结合滑模控制作为整体控制的设计;而针对雅可比矩阵对深度估计计算量大,准确性稍差的弊端,对于深度信息的获取采用深度相机完成,利用现成的靶标上的特征点,并结合外参数矩阵配准RGB相机;并采用先进行管片平移操作、再进行管片的提升和微调操作的拼装策略,最终提出PD-SMC-DEPT方法,并将该算法与传统的基于图像的伺服控制进行比较,得到其控制效果有着更快收敛、更少抖动,以及更加准确的特点。接着对于盾构过程中的两个质量问题——管片抓取时对管片递送顺序的检验以及最终拼装效果的检验,本文利用深度学习进行解决,首先对Alex Net进行扩充,利用该网络对贴附在管片上的标签进行识别,准确率达到98%左右;接着针对管片拼装质量检测数据量需求大的特点,利用生成对抗网络进行数据增广,并提出了一种二阶段的拼装误差识别网络,其总体准确率相较于“端到端”的识别网络提高了4.5%左右。