在我国畜牧养殖领域中,奶牛养殖是畜牧生产中的重要组成部分。奶牛体型评定成为国内外奶牛优化育种研究的一项重要内容,也是奶业生产中的核心环节。通过体型评定可以预测奶牛的产奶性能,同时还可以估测育种值,组织选配方案,进而能对奶牛的选种、选育和品种的改良起到指导作用,最终提高奶牛场生产效率和经济效益。传统的人工评定方法费时费力,效率与自动化程度均有待提高,接触测量也会对奶牛造成应激反应。基于二维图像的奶牛体型评定大多采用人工交互的方式选择体型关键点,且空间三维信息的丢失会引入误差。因此,在当前的研究进展下,使用三维数据进行奶牛体型评定的需求变得日益迫切。针对传统的体型评定方法效率低、难度大、自动化程度低等问题,本文基于深度学习算法和计算机视觉技术开展非接触式奶牛体型评定指标自动提取关键技术研究。首先使用深度相机采集奶牛尻部和侧面图像序列,然后对图像中的奶牛目标进行目标检测和个体识别,接下来使用关键点检测模型检测出尻部的体型关键点,最后通过对奶牛尻部三维重建,并结合检测到的体型关键点来完成奶牛体型评定指标的自动提取,本文的主要工作内容如下:(1)奶牛图像数据采集与处理。选用结构光和TOF深度相机分别采集奶牛尻部和侧面的可见光和深度图像序列,并进行后处理得到实验数据,建立奶牛尻部、侧面图像数据库,为后续实验做准备。(2)奶牛目标检测。利用YOLO目标检测模型提取图像序列的每一帧图像中的奶牛整体目标,得到奶牛尻部整体目标图像和奶牛侧面整体目标图像等待识别图像。(3)奶牛个体识别。奶牛个体识别是体型评定的基础,提出使用基于卷积神经网络的奶牛个体识别方法对奶牛尻部和侧面进行识别。针对轮廓和纹理特征更为丰富的奶牛侧面图像,提出深度多区域特征融合模型进行识别。在模型进行训练之前先使用帧间差值法和分段跨度分析将待识别奶牛侧面整体目标划分为头部、躯干和腿部三个区域。该识别模型首先训练三个独立的卷积神经网络分别从这三个区域提取深度特征,然后对各区域深度特征进行融合,最后使用融合特征训练支持向量机模型,完成奶牛的个体识别。(4)奶牛体型关键点检测。使用卷积神经网络检测奶牛尻部体型关键点。在奶牛体型评定专家的指导下使用标注软件对采集的部分尻部图像的体型关键点进行标注,将带标注的奶牛尻部图像作为输入对卷积神经网络进行微调,以此实现对奶牛尻部体型关键点的回归预测。(5)奶牛体型评定指标自动提取。利用三维重建技术从深度图像构建三维坐标系,恢复图像的空间三维信息。针对尻部的尻宽这一计算机视觉可用体型评定指标,将其度量转换为三维坐标系中奶牛尻部两个体型关键点之间的距离,完成奶牛体型评定指标自动提取。本文基于计算机视觉技术,并融合了深度学习算法实现了奶牛尻部和侧面的非接触式个体识别,并对尻宽这一奶牛体型评定指标进行了自动提取,为基于其它视角的奶牛个体识别、奶牛体型评定提供参考,也利于非接触式奶牛行为检测和智能分析推广和应用。