医学图像分割和癌症的诊断是医学图像分析领域重要的研究内容。医学图像的精准分割能够为癌症以及其它疾病的诊断和治疗提供必要的辅助信息。癌症的诊断是医学图像分析的最终目标。然而，医学图像的精准分割和癌症的诊断均面临很多挑战。
　　根据医学影像数据的特征，可以将其分为两类：1)特征明显(例如，具有显著的边缘梯度信息)；2)特征相对复杂。针对特征明显的影像数据，以膀胱壁的分割为实例。对膀胱内外壁的分割没有解决的两个问题：1)膀胱内部的尿液以及呼吸的过程中会使膀胱腔内产生噪声和伪影，这些噪声和伪影的存在，往往导致以梯度信息来定位膀胱壁的算法无法精准识出膀胱内外壁，进而出现分割不精确的问题；2)部分膀胱存在弱边缘问题，导致分割结果出现溢出的现象。为了解决上述问题，我们提出了一种形状先验信息约束的粒子群优化模型。该模型利用梯度信息、形状先验信息和切片之间的相似信息实现核磁共振影像中膀胱内外壁的分割。实验表明我们提出的方法能有效的提升膀胱内外壁分割的精度。
　　针对特征相对复杂的医学影像数据，以前列腺分割为实例。为了解决前列腺分割过程中遇到的如下挑战：1)位于顶端和底端的切片往往只包含很小一部分前列腺组织，同时不具备清晰的边缘信息，进而导致分割结果很差；2)切片中随机分布的伪影，也给分割过程带来了挑战；3)不同切片上前列腺组织的大小和形状也具有很大的差异性，这种现象进一步增加了分割的难度；4)前列腺复杂的背景和周围组织结构；5)不同于自然数据集，有限的拥有标签的医学数据限制了算法的学习能力。针对以上挑战，提出了四种不同的基于卷积神经网络模型。方法一用于解决因前列腺数据量少所导致网络无法充分学习到前列腺特征的问题。此外，该网络还能解决卷积神经网络在特征提取和梯度传播的过程中信息丢失的问题。方法二用于解决部分切片(尤其是顶部和底部)丢失有效边缘信息的挑战。方法三解决了网络结构中的长连接在信息传递过程中传递无效特征等问题，方法四利用迁移学习从其它数据集中迁移可用信息，以克服数据不足的问题。同时，该方法也能解决弱边缘问题，以上四种方法从2D到3D、从挖掘影像本身信息到迁移其它数据中的信息，层层递进，不断地提高前列腺的分割精度。
　　癌症的诊断同样面临很多挑战。目前，癌症的诊断或预测的方法仅仅依赖于影像的信息，而非在影像和临床数据的共同指导下。此外，病人之间的相关性也被忽略。以上现象导致癌症诊断方法与临床的实际诊断流程相脱轨。针对以上挑战，提出将临床生化指标与影像数据进行结合，通过利用图卷积神经网络实现影像特征与临床数据的特征提取和融合，实现癌症的精准诊断和预测。