图像实例分割完成的是像素级的实例目标分割任务,是人工智能与计算机视觉领域的重要发展方向,其被广泛应用到各个领域,如工业生产、监控安防和医疗卫生等。目前的图像实例分割模型主要存在两个问题,第一,传统的图像实例分割模型由于图像中实例对象尺寸差异跨度较大,导致目标检测阶段出现误检、漏检等问题,从而使生成的掩码精度较低。第二,传统的实例分割模型在掩码生成阶段,主要是通过汇聚到全连接层的特征信息对像素点进行分类和归属判定。池化操作会导致特征图尺寸下降,在语义分割阶段,使传递给全连接层的特征信息有所丢失,进而导致像素点的类别归属出现偏差,生成的掩码质量低,实例边缘的细节信息不够精细化。本文在现有的实例分割算法框架Mask R-CNN的基础上进行深入的研究和改进,以解决图像实例分割任务中存在目标实例对象尺寸跨度大、生成的掩码质量低且不完整的问题。本文的主要工作内容如下:（1）为了消除实例对象之间尺寸差异较大的影响,本文设计了一种基于分层多尺度注意力（Hierarchical Multi-Scale Attention,HMSA）的特征提取网络,用于在特征提取过程中融合不同尺度的实例对象的特征信息,以提高实例分割精度。该网络能够学会在特定情况下偏爱哪种尺度,学习相邻尺度集合之间的所有相对attention特征信息。通过该特征提取网络获得的特征矩阵既融合了多尺度特征,又具有偏好特性。（2）为了打破卷积神经网络与全连接层之间的限制,解决验证数据与训练数据宽高比例差异较大的问题。针对原始空间金字塔池化结果不精确的现象,本文提出一种优化的空间金字塔池化方法,使得卷积神经网络能够适应多尺度、不同比例的输入,此外在特征金字塔自上而下的路径中通过反卷积操作进行上采样,将局部特征在横向连接结构的作用下与不同尺度空间的特征进行拼接。（3）在生成掩码阶段,将实例特征与相应的预测掩码结合起来对Mask Io U进行回溯,校正mask得分和掩码质量之间的偏差。具体地说,将掩码生成网络提取到的语义特征与特征提取网络中的实例类别特征进行多级融合,提出了一种对实例分割假设进行评分的新方法,这对于实例分割的评价是十分重要的。为了使整个图像实例分割网络的掩码生成网络与掩码质量评估之间形成有效的反馈,利于掩码生成网络的反向传播,使用掩码质量分数与掩码损失函数相结合对生成的掩码质量进行监督和评估,两者之间形成有效的正反馈,使生成的掩码质量在掩码质量监督网络的作用下更加精细化。