【摘 要】
：
在底层计算机视觉任务中,超分辨技术通过增加图像的空间分辨率,提供更多语义信息来弥补成像设备的不足。传统图像超分辨方法将其建模为优化问题,引入先验作为约束条件,来逼近真实图像,但存在人工设计先验单一、无法满足实时需求的问题。基于深度学习的方法利用大规模数据的优势,在图像超分辨上取得更好的视觉效果。然而,现有工作对任意倍数超分任务的研究较少,且精度最优模型的参数量巨大,难以在边缘设备上部署。针对上述问
论文部分内容阅读
在底层计算机视觉任务中,超分辨技术通过增加图像的空间分辨率,提供更多语义信息来弥补成像设备的不足。传统图像超分辨方法将其建模为优化问题,引入先验作为约束条件,来逼近真实图像,但存在人工设计先验单一、无法满足实时需求的问题。基于深度学习的方法利用大规模数据的优势,在图像超分辨上取得更好的视觉效果。然而,现有工作对任意倍数超分任务的研究较少,且精度最优模型的参数量巨大,难以在边缘设备上部署。针对上述问题,本文以实现减少计算量的模型自适应推理为目标,研究了基于动态网络的任意倍数图像超分辨方法,主要工作如下:（1）提出基于任务难度自适应的动态可瘦身任意倍数图像超分辨方法。该方法利用推理过程的计算冗余,将不同放大倍数的超分任务看做不同难度的子问题,并使用不同的计算代价来处理,“按需分配”资源。依据放大倍数所在分组来动态激活一些通道,获得不同宽度的规整子网络,更窄的子网络通过权值共享嵌入在大网络中,从而节约计算资源。提出尺度自蒸馏的训练方案,首先预训练最宽的全网络提供更优的初始化参数,再利用自蒸馏联合训练学生和教师网络,缓解不同宽度模型的权重耦合干扰,提升所有子网络的性能。（2）提出基于像素重映射的元重组上采样方法。该方法运用元学习端到端地学习任意倍数的高维像素和低维特征的映射关系,首先将高维像素位置投影到低维特征空间获得位置向量,并通过外置的网络来预测较少的逐位置的通道加权因子,与低维特征融合实现任意倍数的图像上采样,兼顾模型的轻量性和高效性。（3）为进一步降低特征提取模块的参数量,在可瘦身任意倍数超分辨方法的基础上,提出基于动态特征选择的任意倍数图像超分辨方法。首先减少子网络的宽度获取更加轻量的子网络,为弥补有限通道网络提取信息较少的不足,该方法充分挖掘传统卷积的特征冗余,设计紧凑瘦身卷积算子,用较少的代价从原始特征中动态选择低频特征来补偿卷积特征,接着使用轻量的注意力机制来融合信息,学习丰富的特征表示,配合密集连接保证信息的高效流动,形成轻量且高效的动态网络结构。本文对上述方法进行了实验验证,结果证明本文所提出的方法不仅能解决任意放大倍数超分问题,而且对模型的计算效率和精度实现了更好的平衡。
其他文献
遥感图像语义分割旨在为遥感图像中的每一个像素点都分配相应的类别。目前基于深度学习的遥感图像语义分割已经在军事、地质、城市规划等领域出现了许多成功的应用案例,然而随着遥感图像应用范围不断扩大,给遥感图像的语义分割任务带来了许多新的难题,因此它仍是一项具有挑战性的任务,表现在:第一,遥感图像中的各类地物尺寸各异,尺度差异较大,若要准确地对地物目标的类别进行预测以及完整地对地物目标的边界进行分割,需要提
三维目标检测是自动驾驶环境感知中的关键技术,可以为安全可靠的自主驾驶提供基础。激光雷达和彩色（RGB）相机是自动驾驶汽车上最重要的两个传感器,分别获取点云和图像。点云包含精确的距离信息,但稀疏且无序,进行目标检测时,对低分辨率或遮挡目标检测困难,存在误检和漏检的情况。图像包含RGB色彩值,具有纹理和边界等细节信息,但是因为成像时近大远小的特点,以及距离信息的缺失,在三维目标检测任务中无法估计出目标
利用超分辨率算法获取高分辨红外图像是解决当前我国红外成像器件制造水平低导致成像效果差、成本高昂难以满足需求的一种有效途径。基于多视图像的超分辨率算法以其更好的成像性能成为研究热点,其中又以深度学习超分辨算法最受关注。然而,现有深度学习超分辨率算法训练时用的样本对对应的并非真实的红外图像降质过程,且忽略了高-低分辨率图像的相互配准问题,使得其在实际应用中效果不理想。针对这一问题,本文提出了一种基于自
由于科技的发展,高维数据迅速出现在各行各业。噪声、冗余特征也随之而来,这加大了数据处理的工作量和难度。因此,数据降维是必须的。由于可以保留原始的特征,特征选择成为了降维的更佳选择。近年来,无监督特征选择算法越来越多,并且都取得了不错的效果。但是这些算法仍存在一些问题,比如伪标签间的相互影响被忽略、数据间的链接信息没有被充分利用以及使用谱聚类时不能保证伪标签的非负性等。为了解决这些问题,本文提出了三
在数据挖掘中,数据不平衡是世界上普遍存在的问题。然而,对不平衡数据进行分类的问题在不同部门中不时增加。为了克服一些标准的不平衡数据技术无法准确平衡多数类和少数类的挑战,用于不平衡数据分类的基于增强的合成采样（ABS）被提出了。ABS方法连接特征并增加现有样本的样本数量以生成合成数据。本文的主要研究贡献为:（1）本论文通过建模将输入数据与训练好的特征串联起来,确定输入数据中特征之间的关系,得到训练样
事件相机是一种新型视觉传感器,模仿了生物视觉系统的成像机制,具有高动态范围、高时间分辨率、低数据冗余的特点,在军用及民用领域均有重要应用价值。事件相机只感知场景中的变化信息。当事件相机中某像素感受到光强的变化时,会触发一个表示光强变化信息的事件,该事件包含触发像素的坐标和触发时间信息。事件相机以事件流的形式输出数据,而非传统相机的灰度图像。事件流形式的数据表示方式为非结构化的,给面向事件相机的数据
高光谱成像作为遥感领域的重要分支,因其极高的光谱分辨率,在地物高精度分析方面具有着不可替代的优势,在国防建设与经济发展中的众多领域都有着极为广泛的应用。因此,高光谱图像的高精度分类已经成为高光谱图像处理中的重要课题。但是,在高光谱图像中,一些噪声与冗余波段对其传输与分析处理带来了困难,这使得高光谱波段选择的重要性越发凸显。深度学习的蓬勃发展展示了其强大的学习与表征能力,相关方法与高光谱处理领域的结
细粒度图像识别研究近年来逐渐兴起,在无人零售、智慧交通、人机交互等方面具有广泛应用。本文就transformer在细粒度图像识别领域存在空间特征提取粒度过于粗糙及模型参数过大存在计算冗余两大弊端分别展开研究,一方面,进一步细化transformer的特征提取粒度,另一方面,在保持理想识别精度的情况下压缩其参数量、去除冗余计算,便于实际应用。本文的主要的研究内容及技术创新如下:第一,针对原始tran
人体姿态迁移旨在目标姿态的引导下,将原始图像的人物姿态转换至相应的目标姿态,并保持人物身份和外观的一致性。该研究在游戏绘画、电影制作和虚拟试衣等领域具有极大的商业前景,此外,该研究还被应用于去伪检测和行人重识别研究课题,作为数据增强的解决方案。近年来,随着人工智能浪潮的来临,人体姿态迁移技术得到了快速发展,在姿态迁移准度、多姿态泛化性能以及商业落地应用等方面均有显著进步与提高。然而,当前人体姿态迁
计算机视觉在工业生产、物体检测、先进的车辆安全系统等领域的广泛应用中发挥着至关重要的作用。然而下雨等特殊天气导致所拍摄的图像质量下降和细节丢失,从而影响物体检测、自动驾驶车辆检测和监控设备等任务。因此,对获得的图像进行图像恢复以生成干净的图像,有利于提高目标检测算法的准确性。本文使用Efficient De Rain算法提高物体检测率和准确率。它将作为图像的预处理,并通过深度学习算法进行对象检测。