深度学习是机器学习和人工智能研究的最新趋势之一,基于深度卷积神经网络算法的细胞核分割是计算机视觉领域的一个重要的分支,其在药物开发、疾病确诊等领域都有着重要的研究意义和广泛的应用价值。基于深度卷积神经网络算法的细胞核分割主要包括特征提取、目标识别、分割预测等功能模块,其中提取具有高判别性的特征是影响细胞核分割准确性的关键所在。通常具有良好泛化能力和高鉴别能力特征的网络需要一定规模的高质量训练集,然而人工标注的细胞核分割图像掩码十分珍贵,如何在少量数据集上获得良好的模型泛化能力以及较好的分割精度成为本文的主要研究方向。除此之外,影响深度网络特征提取能力的决定性因素又来自于网络架构设计和损失函数设计两个方面。对网络结构和损失函数的改进会很大程度上影响细胞核分割的质量,另外由于细胞核图像本身有着图像亮度分布不均匀,细胞核数量和大小不一,细胞之间粘连堆叠的特点,也会导致细胞核分割异常困难。基于上述分析,为实现在小数据集上具有良好泛化能力和较好分割精度的细胞核分割模型,本文的主要研究工作如下:(1)本文以U-net全卷积神经网络为基础,给出了一种细胞核分割算法。首先,为了提高网络的泛化能力与识别能力,对数据集进行数据增强,然后在数据集上根据HSV颜色空间做k-means聚类,在U-net网络训练时选择不同的聚类做交叉验证。其次针对细胞核粘连的情况,本文在预处理中对真值掩码使用腐蚀操作来确保真值中每个细胞核被分离,然后使用膨胀操作来调整预测的最终结果。最后,改进U-net网络损失函数来获得更好的分割结果。实验表明,本文方法与传统分割算法进行比较,如Ostu阈值分割,分水岭分割算法比较,分割的结果更好。通过定量的细胞核分割结果分析,本文在Broad Bioimage Benchmark Collection 038 数据集上的PA(Pixel Accuracy)达到94.944%,mIoU达到0.55452。(2)为了使U-net网络更好的处理粘连细胞核的情况,首先使用多任务学习的思路,训练时更改U-net网络的输入输出,使得网络同时关注细胞核,粘连的细胞核边界以及图像背景。其次,为了使分割模型具有更好的泛化能力,在此基础上使用迁移学习中的方法,将U-net网络中的特征提取部分替换成预训练VGG16模型的前几层。使用在ImageNet上收敛泛化的VGG16模型初始化网络,再在小数据集上进行微调,使得网络适应细胞核分割问题。最后在后处理阶段,对细胞核分割结果进行分析,运用一系列的形态学操作,来细化最终的分割结果并且对本文中的算法进行定量分析与横向对比证明了算法的高效性和鲁棒性。本文在 Broad Bioimage Benchmark Collection 038 数据集上的PA达到95.437%,mIoU达到0.60241。