乳腺癌是全世界女性中最常见和最严重的癌症之一,发病率自上世纪70年代以来一直呈上升趋势,并且已经成为世界上被诊断数量最多的女性癌症。在传统的超声检查中,医生根据超声图像,结合自己的专业知识及临床经验进行诊断,主观性较强,且会受到其他身体组织和阴影等其它干扰,因此会存在漏诊或者误诊,故临床诊断需要引入计算机辅助设计,可以减少人为干预,进而提高诊断性能。如今大部分计算机辅助设计系统都利用深度学习进行医学图像处理,大部分深度学习算法都需要大量的数据集来支撑模型的训练,以便得到较好的效果,由于乳腺超声图像的特殊性,可获取的样本很难满足深度学习算法的硬性需求,故使用一般的深度学习方法进行乳腺超声图像处理时无法取得良好的效果。因此本文主要研究如何在样本较少的情况下,利用多任务学习算法,实现较好的乳腺超声图像语义分割与分类,进而更好地辅助医师进行乳腺癌的诊断。本文首先对医学超声图像分割及分类的国内外研究现状进行分析,对比各算法的优缺点,以此为基础提出基于多任务学习的乳腺超声图像分类和语义分割思路,卷积神经网络擅长图像级别的分类,利用该算法进行乳腺肿瘤良恶性判断,U-net网络可以实现像素级别的分类,故用来对乳腺肿瘤图像进行语义分割,将这两个算法及多任务学习思想进行结合,本文提出了两种多任务模型,通过权值共享的方式来提高良恶性判别和语义分割的效果。两种模型使用不同的共享权值的方式进行训练,并针对多任务模型,提出了可以调节分类和语义分割比重的损失函数,通过调节两个任务的比重,防止其中一个任务比重过大,影响另一个任务的学习效果,达到较好的实验效果。本文最后对单独的基于卷积神经网络的乳腺超声图像良恶性判别模型、基于U-net网络的语义分割模型,以及本文提出的两种多任务模型进行了实验分析,实验结果表明,本文提出的多任务学习模型,可以改善卷积神经网络的分类和U-net网络的语义分割效果,在样本较小的情况下可以充分挖掘样本信息,提高模型分类和语义分割的效果。