【摘 要】
:
医学影像分割任务是近年来计算机视觉的一个关注热点和研究难点。医学影像分割任务的数据集通常存在样本数较少,数据质量不高等问题,而对于分割精度的要求又比较高。目前在医学影像分割任务上的主流网络依然是U-Net及其变种卷积神经网络(Convolutional Neural Network,CNN)。然而基于朴素3×3卷积的U-Net有着其固有的局限性,比如感受野有限等。此外针对一个特定的数据集,通常需要
【基金项目】
:
广东省自然科学基金面上项目(编号:2020A1515011491); 广州市科技计划基础与应用基础研究项目(编号:202102080161);
论文部分内容阅读
医学影像分割任务是近年来计算机视觉的一个关注热点和研究难点。医学影像分割任务的数据集通常存在样本数较少,数据质量不高等问题,而对于分割精度的要求又比较高。目前在医学影像分割任务上的主流网络依然是U-Net及其变种卷积神经网络(Convolutional Neural Network,CNN)。然而基于朴素3×3卷积的U-Net有着其固有的局限性,比如感受野有限等。此外针对一个特定的数据集,通常需要定制化设计网络,这不仅耗时耗力还对研究人员的特定经验知识提出很高要求。神经架构搜索(Neural Architecture Search,NAS)方法被提出用以实现自动地网络设计,然而通常的神经架构搜索算法只致力于提高网络的性能,并且每次只能搜索得到一个网络架构。而面对目前网络部署在场景和设备上日益多样化的趋势,网络本身的复杂程度或者参数量也成为了一个重要的考量因素。针对上述问题,本文首先设计了一个混合CNN与Transformer的医学影像分割网络CTU-Net来改善U-Net的全局特征提取能力与感受野,并进一步设计了CTU-Net网络的多目标神经架构搜索算法CTU-NAS,以便搜索具有高精度和低参数量的子网架构。本文的主要研究内容如下:(1)结合卷积网络与Transformer的各自优势,设计了混合CNN与Transformer的医学影像分割网络CTU-Net。首先,本文设计了残差菱形空洞卷积模块去替换朴素3×3卷积模块,可以用更少的参数量,获得更大的感受野。其次,在编码器和跳跃连接中加入有全局自注意力机制的Transformer模块,不仅能够加强特征的提取,而且能够帮助在不同阶段引入全局的感受野。(2)利用进化算法的强大多目标处理能力,设计了CTU-Net网络的多目标进化神经架构搜索算法CTU-NAS。CTU-NAS通过同时优化网络的参数量和精度,可以运行一次搜索得到一组参数量不一但精度尽可能高的网络架构。在CTU-NAS中设计了CNN和Transformer混合的搜索空间,并且针对卷积模块设计了特定的通道排序和选择策略来降低搜索空间的维度。(3)充分利用已学到的权重知识和宝贵的历史评价数据,设计了双重加速方法加速架构的搜索。权值共享的加速方法使得子网架构能够从超网中继承相应部分的权重进行增量训练,而无需从头开始训练。离线和在线混合的代理预测加速方法能够对架构性能进行廉价的近似评估,从而减少昂贵的真实评估次数。在ISIC2018和MoNuSeg两个医学影像分割数据集上的实验结果表明,本文设计的方法能够自动搜索出性能超越或者接近人工精细化设计的网络,还能在很大程度上压缩网络的参数量。并且设计的双重加速方法,极大地降低了搜索算法的时间成本。
其他文献
人脸美感预测(Facial Beauty Prediction,FBP)在计算机视觉领域中是一个非常有趣且富有挑战性的任务,其模拟人类对于容貌图像的感知,捕捉图像中人脸的眼睛、鼻子、皮肤等各项特征,进而量化容貌图像的美感。虽然容颜不代表一切,但拥有一张美丽的脸庞是大多数人内心之中的渴求。容颜的重要性不仅仅体现在个人层面上,在企业层面上,它也能够产生商业价值。因此,研究人脸美感预测具有十分重要的意义
2019年底开始流行的新型冠状病毒所具备的传染性强和持续变异的特性,导致新冠肺炎的感染和死亡人数不断攀升。临床上X光胸片是甄别新冠肺炎确诊患者的重要依据。采用深度神经网络对X光胸片进行新冠肺炎自动识别,可辅助医生提高甄别新冠肺炎患者的效率与准确率。现有的新冠胸片识别神经网络大都是手动构建的深度卷积神经网络。一方面,新冠患者与健康人体的胸片间差异较细微,甄别难度较大。仅采用卷积来提取局部特征的卷积神
在生态文明建设日益重要的背景下,环境质量改善需要正确认识和处理好环境保护与社会经济发展的关系。目前,空气污染空间特征的研究相对仍缺乏深入探索。在经济全球化背景下,区域内部产业分工与合作、城市间的经济联系十分紧密。区域性空气污染治理和监管,需要空气污染空间特征物理属性侧信息的支撑,也需要空间特征社会经济属性侧信息的支持。道路交通运输是人流和物流的空间流通,体现了地区之间在生产要素上的相互牵引,是经济
具有激发态分子内双质子转移(ESDPT)特性的分子在生物细胞编码、荧光传感器、生物分子探针和发光染剂等多样化领域具有广泛的应用和发展前景。不同体系的ESDPT过程复杂多变,易受结构变化和环境等因素影响,对于揭示激发态分子内双质子转移过程机理的研究将有助于指导新型材料和生物分子探针的设计合成以及优化。在本论文中,我们采用飞秒瞬态吸收光谱技术以及含时密度泛函理论方法,对具有不对称分子结构和不同极性溶剂
目前,居民的生活更加富裕,生活水平正在不断提高,与此同时厨余垃圾(food waste,FW)的产生量也在迅速增加,在能源与环境双重压力下,厌氧消化技术被认为是处理厨余垃圾最有市场发展前景的技术。厌氧消化技术又分为干式厌氧和湿式厌氧两个分支,厌氧产生的沼液大多进污水处理系统,而沼渣又分为填埋、焚烧和堆肥3种处理方式,从而派生出6条技术路线。不同技术路线的环境影响和经济效益不同,目前尚无详细的论证,
厌氧氨氧化与硫自养反硝化构成的耦合系统可以实现同步脱氮除硫,在理论上能实现TN的完全去除,因此是一种极具潜力而又环保的生物处理技术。而微生物固定化技术通过包埋、交联或者吸附的方式,将微生物固定在有机或无机载体的外部或者内部,可以有效减少污泥流失、提高微生物对环境的耐受能力,有助于降低厌氧氨氧化工艺及硫自养反硝化工艺的启动及运维的难度,有利于拓展两种工艺技术的实际运用范围。因此,本课题利用微生物固定
随着珠江三角洲经济的快速发展和人口的持续增长,生活污水和工业废水的排放造成了严重的环境污染,使大多数河涌呈现季节性或常年性的黑臭现象,黑臭的河涌不仅破坏了河流、湖泊和池塘等水域的生态系统,而且还对周围居民的身心健康构成了极大的危害,这是一个亟待解决的环境问题。因此,查明影响珠江三角洲水质的主要污染因素以及污染来源,构建立体化的污染物分布特征体系,对于有计划地制定污染源治理方案和综合防治措施具有重要
在知识经济时代,企业想要仅凭自身的资源条件立足于变化莫测的市场已然不现实。企业乃至国家之间的角逐早就把目光聚焦在象征核心竞争力的专利上,通过与供应链中的上下游企业开展技术创新合作活动,企业可以获得异质性知识,实现专利上的突破,实现单个企业无法获得的创新收益。然而受到供应链合作企业间的竞合关系的复杂性以及环境特点等因素,企业在开展合作过程中容易就知识投入、知识泄露、非法转让、许可、专利权属及利益分配
农业是国民经济的重要产业,是生产的首要条件。然而随着社会经济的发展,我国农民的数量越来越少,农民的种地积极性也越来越低,提高农民种地积极性是当下很重要的一件事。农业保险作为风险管理中的重要手段,对保障农业收入也起着重要作用。然而我国农业保险起步较晚,自2003年政策性农业保险起步到现在只发展了不到20年的时间,应用水平还不够完善,提高农业保险的购买意愿,也是当下急需解决的问题。在这样的背景下,需要
阅读是儿童获得信息的基本手段,成长和学习的必要条件。对于千禧年后出生的儿童来说,他们的成长伴随着电子产品的普及和高科技的发展,数字化时代信息技术不断融入现代教育,数字阅读成为学生日常学习必不可少的一部分,从小生活在数字媒体包围下长大的“数字原住民”儿童通过电子设备进行阅读、作业练习和考试已经成为学习的常态。在儿童群体中,发展性阅读障碍儿童越来越受到学者的关注。发展性阅读障碍是一种常见的神经发展性障