基于深度学习的联合深度图超分辨算法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:hyflover
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今的时代中,深度图在计算机视觉领域发挥着重要的作用,如无人驾驶,三维重建,人机交互等。然而目前深度传感器供的深度图分辨率还不能满足众多应用的需求。因此基于软件算法的深度图超分辨重构算法具有重要意义。深度图相比于普通图片有信噪比低,通道单一,语义匮乏等缺点,所以其超分辨过程相对于普通图片更有难度。如果在深度图超分辨过程中用高分辨的导向图加以辅助,那么重构的精度将能获得很大的升,因此导向图辅助的深度图超分辨重构算法具有极大的实用价值。深度学习在传统图像超分辨领域和导向图辅助的深度图超分辨领域都得到了很好的应用。当今主流的深度图超分辨重构算法利用神经网络从导向图和深度图中取特征并重构,可以有效的避免纹理转移效应。然而,这些方法却存在两个主要缺陷:首先当今主流方法仅仅利用了神经网络后端的高维特征,而没有利用网络前端的低维特征,也没有利用多尺度带来的优势。其次,当今主流方法要么是通过预处理将深度图上采样到目标分辨率再利用神经网络滤波完善,要么是分多阶段每个阶段以2的倍数对深度图进行超分,然而无论哪种方法的放大倍数对边缘本来就模糊的低分辨深度图来说都太大了,造成放大后的深度图更加模糊,失真,边缘不能有效对齐导向图,这样导致网络不能有效修复图片。本文主要针对上述两点缺点,各自出了解决方法。本论文主要工作和贡献点包括:1.针对上述缺点中第一点,本文利用跳跃连接出了密集连接的联合深度图超分辨网络,用级联的小尺寸卷积核增强网络的感受野和拟合能力,在卷积核之间连接密集的跳跃连接以连接帮助信息流传播,让网络浅层特征直接连通到底层。此外还构造了多尺度路径帮助网络学习复杂的结构信息,并有效地缓解了梯度消失问题。本文在Middlebury,SUN-RGBD,Lu和NYUv2四个数据集上与主流方法进行对比,量化和主观视觉对比结果均证明了所出的方法的有效性。2.针对上述缺点中的第二点,本文出了拉普拉斯金字塔结构的小步长多阶段的深度图联合超分辨网络。以小于二倍的分数代替现有方法中的放大倍率,渐进式的对深度图进行上采样,并以更多的放大阶段对不同尺寸的导向图取特征以获取更充分的多尺度导向信息辅助超分辨过程。在Middlebury 2001,2003和2005数据集上与主流方法进行了量化和主观视觉的对比。结果证实了我们出的小步长多阶段超分辨网络的优越性。
其他文献
化石能源的过度消耗导致大气中CO_2浓度增加,CO_2是一种主要的温室气体之一,其引起的全球气温升高现象愈发严重,因此如何对CO_2进行资源化利用引起了研究人员的广泛关注。其中,CO_2加氢制取甲醇是资源化利用的重要方式之一,而该反应的核心技术之一在于研发高活性和高选择性的催化剂。本文以调控Zn和Zr的摩尔比得到的ZnO-ZrO_2固溶体催化剂为研究基础,采用过渡金属铜元素的掺杂以及掺杂后等离子体
本文是一篇英译汉翻译报告。报告源语文本选自《宾夕法尼亚大学教师和学术管理人员手册》。全册共约160,000个英语单词,主要介绍宾夕法尼亚大学的机构组织、规章制度、教工体
GY市小商品批发市场拆迁重建项目属于比较复杂的系统工程,其需要涉及计划、拆迁、建设等环节,而且也会牵涉到多个方面的利益。由于小商品批发市场拆迁重建项目工程复杂程度比
目的:探究糖尿病视网膜病变(diabetic retinopathy,DR)中医三消分型与眼底形态特征的差异性,为DR的中医辩证分析及临床诊断治疗提供帮助。方法:采用前瞻性研究方法,收集2018
能源问题一直是一个国家长期以来关注的焦点问题之一,对一个国家的经济发展有着举足轻重的作用。而射流可以有效地提高燃料的利用效率,在提高火箭、飞机等飞行器发动机的发展
青藏高原一直是国内外学者研究的热点地区之一,主要研究内容涉及高原隆升、沉积环境、气候变化等方面,在地质历史演变过程中,位于青藏高原东北部的囊谦盆地发育了一套新生代陆相红色碎屑岩和含膏盐岩层,是研究青藏高原始新世古气候演化和含膏盐沉积环境的良好素材。本人在总结前人的研究成果的基础上,从粘土矿物学、元素地球化学角度出发,以6 m的间距采集囊谦盆地贡觉组约257 m含膏盐地层的碎屑沉积物,分析其粘土矿物
自党的十八大以来,建设“网络强国”“数字中国”等重要宏图被相继提出并不断完善,彰显着我国对网络空间治理与发展的高度重视。然而,目前的网络空间仍旧充满着冲突与不平衡
大尺度环流广泛存在与大自然界中,如大气环流和海洋环流。本文主要对倾斜Rayleigh-Bénard湍流热对流系统中的大尺度环流进行了研究,实验装置是一个底面直径D和高H均是0.1 m
地处松嫩平原的小龙虎泡和齐家泡是典型的寒地平原浅水盐碱湖泊,共用同一水源,均为绿色养殖基地。其中小龙虎泡中移植大银鱼形成较高产量,而齐家泡中未移植大银鱼。为探讨两湖浮游动物种群结构动态特征及其影响因素,以指导其增殖渔业生产;本研究通过对浮游动物的种类、密度、生物量、时空分布、水环境因子以及大银鱼食性进行了连续调查研究。研究方法和结果如下。2017年2月、4月、6月、8月和12月,在小龙虎泡和齐家泡
背景与目的急性胰腺炎(acute pancreatitis,AP)是一种或多种病因引起的胰腺组织的炎症性疾病。在我国,AP的病因以胆源性为主。其中重症急性胰腺炎(SAP,severe acute pancreat