肾脏是人体泌尿系统的组成器官之一,主要负责清除代谢产物和吸收水、蛋白质、金属离子等有用物质。肾脏肿瘤是泌尿科发病率第二的肿瘤,其亚型众多,多为恶性肿瘤,临床上多采用切除的手术方式。传统的根治性肾切除术对病人的肾功能损害大,近来一种仅切除患病组织的手术方式(腹腔镜肾部分切除术,LPN)逐渐成为临床首选。LPN虽然能够最大程度地保留病人的肾功能,然而此种手术方式的可行性主要取决于医生的诊断,没有统一的金标准,肾脏肿瘤的良恶性、肿瘤的形状和位置等因素都具有重要参考意义。现有的方法多基于肾脏区域的分割和基于传统机器学习方法的肾肿瘤分类,本文旨在构建一个基于卷积神经网络的肾脏肿瘤同步分割和分类模型,辅助医生诊断。卷积神经网络(CNNs)是近年来的热门技术,在计算机视觉领域尤其是分类、分割、检测等任务中的成功应用有目共睹。区别于自然图像,医学图像(如CT成像)每点的灰度值具有物理意义且图像的数据形式多样(三维、四维或序列),神经网络迁移到医学图像处理中时,需要考虑到医学图像的特性进行改进。对三维医学数据,流行的处理方法包括两种:基于二维卷积神经网络(2D CNNs),三维结果由二维结果整合而来;使用三维卷积神经网络(3D CNNs)直接得到三维结果。2D CNNs能够有很深的网络结构,3D CNNs受限于显存网络层数有限,但3D CNNs能够学习第三个维度的上下文信息,更适用于三维数据的训练。本文分别基于这两种方式对肾脏肿瘤进行分割和分类。首先基于2D CNNs,本文结合肾脏肿瘤分割和分类提出一种双任务神经网络2D SCNet。该网络的分割模块和分类模块共享特征提取层,从特征提取层获取的特征送入分割和分类网络一起训练。分割和分类相结合,分类能够反馈网络的全局上下文信息,分割能够使网络关注局部特征和感兴趣区域(ROI),两个任务共同促进网络的特征学习且均增加了彼此的先验信息。分割网络中本文采用了一种两步分割策略,进一步提高了结果。最终2D SCNet的结果比单任务网络效果要好。由于基于2D CNNs,2D SCNet分割结果存在第三个维度上不连续和漏分的情况,3D CNNs能够改善这种情况。基于3D CNNs时,基于显存限制,本文采用和2D SCNet不同的网络结构。模仿传统肾脏肿瘤分类的方法,3D SCNet首先分割出肾脏和肿瘤区域,通过分割的结果从原图中获取ROI,将ROI送入一个较浅的分类网络进行训练。这种方式去除了肾脏肿瘤图像的背景得到前景,简化了分类过程,实现端到端的双任务网络的同时保证了结果的精度。相比于单任务的分割网络,3D SCNet分割区域更加完整。根据基于专家手工分割结果得到的真实ROI进行训练的单分类网络分类结果良好,而本文基于3D SCNet生成的ROI进行的分类达到了单分类网络的效果。相比于2D SCNet,3D SCNet解决了二维分割中出现的漏分和少分情况,分割结果更加连续。但是受限于网络的层数,3D SCNet的分类效果不如2D SCNet。