【摘 要】
:
图像修复是一种根据图像已知内容来合成待修复区域的技术手段,在较多领域都具有广泛的应用价值。近年来,随着深度学习快速发展,图像修复算法渐渐的从传统的基于填充和扩散的模型逐步转换为基于深度学习的模型。基于深度学习的模型通过优化卷积结构和优化注意力机制这两个方向使得修复效果越来越逼真。优化卷积结构的方式主要通过优化掩码更新机制以摒弃待修复区域信息。优化注意力机制的方式通常通过优化待修复区域与完好区域的匹
论文部分内容阅读
图像修复是一种根据图像已知内容来合成待修复区域的技术手段,在较多领域都具有广泛的应用价值。近年来,随着深度学习快速发展,图像修复算法渐渐的从传统的基于填充和扩散的模型逐步转换为基于深度学习的模型。基于深度学习的模型通过优化卷积结构和优化注意力机制这两个方向使得修复效果越来越逼真。优化卷积结构的方式主要通过优化掩码更新机制以摒弃待修复区域信息。优化注意力机制的方式通常通过优化待修复区域与完好区域的匹配方式以获取更精确的填充信息。本文通过对深度学习理论和已有的图像修复模型的学习和探索,针对上述两个方向研究了以下三部分内容:首先,针对现有卷积结构仅能利用固定形状感受野内信息和注意力机制匹配前特征图存在偏移的问题,本文提出了一种基于门控可形变卷积和注意力补偿的图像修复模型。该模型在特征提取阶段采用门控可形变卷积进行特征提取,该卷积能够通过形变感受野提取采样点周围的相似语义信息,还通过门控的方式以不同程度地利用所有的采样点信息,提高特征提取能力。最后还采用多尺度结构,通过利用不同大小的形变感受野提取特征,增强了模型的语义理解能力。该模型的注意力补偿模块通过对待修复区域和填充区域特征学习以获取一组仿射变换参数,然后通过对填充特征进行仿射变换以补偿模型存在的偏移问题,考虑到注意力模块在相似匹配时采用分块的方式会导致填充块存在不同程度的偏移趋势,于是本文通过分块仿射的方式以进行更加细粒度的补偿。通过实验验证,本文提出的模型在通用数据集上取得了较好的修复结果。其次,针对修复模型常用的注意力机制本身存在的特征表示失真和语义歧义的问题,本文提出了一种基于分层transformer的图像修复模型。该模型的分层transformer主要分为两部分:1)掩码注意力机制,该机制将输入特征投影到高维空间表示,并将掩码区域与非掩码区域通过自注意力进行度量以获取相似性信息。通过高维度量的方式能够有效的解决由于常规注意力机制在度量时由于标准化而表示失真的现象。2)分层结构,该结构将特征图分为两种尺度,一种是大尺寸的区域块,一种是小尺寸的局部块。其中区域块学习粗略的全局相似度信息并传递给区域内的局部块,局部块通过学习精细的局部相似信息和粗略的全局相似信息以获取全局的弱特征表示和局部的强特征表示,从而缓解远距离区域带来的语义差异性。最后通过在常用的评价指标上进行验证以证明本模型的有效性。最后,本文对上述两项研究内容进行组合优化,提出一种基于门控可形变卷积和分层transformer的图像修复模型。本文在公共数据集上验证了该模型的有效性并且最后应用到丝绸文物图像数据集中以证明本文模型具有较强的泛化性。
其他文献
近年来,随着全球定位系统的发展和具有位置感知功能的移动设备的广泛使用,基于位置的社交网络(Location Based Social Network,LBSN)发展迅速并广受欢迎。兴趣点(Point of Interests,POI)推荐是LBSN中一种对用户和商家都具有价值的重要的服务。兴趣点推荐任务通过对用户的签到记录进行研究以向其推荐符合偏好的地点。与传统的商品推荐(如淘宝)相比,在LBSN
声波凝聚技术是一种新型细颗粒消除方法,它通过声波的挟带作用凝聚细颗粒,不添加任何物质,避免了环境污染。声波凝聚技术不仅用于烟尘类污染源的治理,还可以应用在人工消雾方面。本文主要通过数值仿真和实验,研究声波凝聚技术在人工消雾方面的应用。首先,提出了改进的均方根凝聚核函数,提升了凝聚核函数的适用性和亚微米级颗粒、粒径相近颗粒间凝聚的仿真准确性,将验证算例与解析解进行比较,验证了其正确性和有效性。在此基
随着互联网和电子商务的发展,网络购物已经成为当前主流的消费方式之一,在传统的服装店销售额下降的情况下,越来越多的商家开始在网络上开店以占取市场份额,导致越来越多的买家开始在网络上购买服装。在过去的十年里,互联网上的服装图像越来越多,如何在海量的服装图像中检索到有效的服装图像成为一个挑战。一个出色的服装检索系统可以提升消费者的体验从而提升交易量,这对于电商平台来说是至关重要的。因此,本文在深度学习框
近年来,商业化无人机的蓬勃发展,给国家空域安全带来了极大的威胁,因此如何对抗无人机这种典型的“低慢小”目标成为了世界各国面临的重要问题。作为反无人机系统的关键组成部分,红外探测器具有抗干扰性强、隐蔽性高和能全天候昼夜工作等优点,可作为光学探测器的有效补充或替代。当一个或多个红外无人机目标进入探测范围时,反无人机系统一般要保证远距离捕获目标,并且在目标由远及近的过程中维持稳定的跟踪;若目标由近及远,
在无线通信技术快速发展的今天,无线通信尤其是战场上无线通信的安全性越来越受到人们的重视。低截获概率通信技术由于其良好的保密性和抗干扰性,在军事通信和民用通信领域都具有良好的应用前景。在发展低截获概率通信系统很长一段时间以来,都是使用直接序列扩频技术来实现信号的低截获性能:在发送端对传输信号进行频谱的扩展,从而降低每个频段上的信号能量。但由于人们对低截获概率通信技术研究的深入,针对直接序列扩频技术的
失效/故障航天器、空间碎片等空间非合作目标大量存在于地球轨道空间中,若不对它们进行维修或者清理,将极大影响到人类正常航天活动。空间非合作目标往往具有复杂或不规则的外形结构,甚至由于失去正常控制功能而处于旋转状态,对其进行在轨服务操作(如故障维修、燃料加注、碎片清理、在轨组装)具有较大的难度。为对非合作空间目标开展在轨服务任务,首先需要控制服务航天器超近距离(100m以内)安全接近目标。设计针对复杂
海洋中尺度涡是一种重要的海洋中尺度现象,在海洋环流、物质能量传输中发挥重要作用,对舰船航行安全、水声通信等也具有重要的影响。高效准确地识别出海洋中尺度涡无论对于物理海洋认知还是海洋开发利用都有着重要的研究价值。目前,海洋中尺度涡识别的主要途径是人工识别和机器自动判别。从实践经验来看,依靠专家对海洋遥感图像进行“目视识别”的方法是海洋中尺度涡最为准确的识别提取方法,但此方法劳动强度大且效率低下,无法
由于我国建筑工程的数量、规模、功能性、效益性逐渐提升,因此,对建筑工程的要求逐渐提升。但是,建筑施工管理中依然存在一些问题,影响着施工质量管理在建筑工程中发挥应有作用,因此,针对建筑工程施工管理存在的各类问题制定切实可行的管理对策显得尤其重要。本文以建筑施工质量管理为研究对象,分析了建筑施工质量管理的重要作用,并探究了建筑施工质量管理存在的问题以及对策,以期能为建筑施工质量管理工作带来帮助。
在很多场景中,采集数据具有一定的困难,这导致相关领域可用于深度学习的数据较少。另外,标注一定数量级的数据集是一件费时费力的事。因此,研究小样本目标检测技术,利用少量样本训练出具有泛化能力的目标检测模型有重要的实用价值。当只有少量带标签的样本时深度神经网络模型的参数量与样本数量不匹配会出现过拟合现象导致检测效果较差。本文针对现有的小样本目标检测算法存在的问题提出改进算法并将改进后的小样本目标检测算法