基于深度学习的三维重建及渲染方法研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:lili123456li
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉和计算机图形学领域的主要研究目标是如何使计算机具备人的视觉能力,其主要包含两个方面:一是渲染,即将客观存在的三维世界通过视觉系统映射为二维图像;二是重建,即通过人眼或者摄像机捕捉的二维投影图实现对三维场景的理解与感知。如今,计算机科学技术、神经网络以及深度学习等方法的迅猛发展,使得基于图像的三维重建及渲染技术在导航定位、医疗图像、资源探测、工业设计、自动驾驶、数字娱乐及智慧城市方面的应用愈发普遍。因此,研究高效、准确的三维重建和渲染方法具有非常重要的社会和学术价值。经典的三维重建方法利用深度传感设备,从多个视角获取具有深度信息的图像,进而去恢复物体完整的三维结构。在实际应用中,扫描重建对象的所有表面并不总是可行的,这可能导致重建的三维结构出现塌陷、空洞等现象;而且处理多视角图像需要消耗更多的计算资源,无法满足实际应用中对实时性的要求。此外,传统的三维渲染解决方案因渲染管线中使用了光栅化、可见性计算等离散运算,导致渲染方程没有明确建立渲染参数和投影图之间的关系,因此无法实现逆向渲染。针对上述问题,本论文提出一种基于卷积神经网络的三维重建和渲染模型,其既可以基于单视角图像实现对物体三维结构的重建,又可对物体的三维结构进行渲染。该模型包含三维重建网络和三维渲染网络两个部分:重建网络由一个用于提取物体特征的图像编码器和两个分别用于恢复物体三维结构和纹理信息的解码神经网络组成;渲染网络包含三个卷积神经网络,分别实现三维结构采样、降维映射和渲染图像生成的功能。本文研究以数据驱动,利用深度学习对卷积神经网络进行训练,实现基于单视角图像的物体三维重建,并对重建的三维模型进行渲染。训练后的网络既可利用物体的单视角图像,通过重建网络对其三维结构进行重建,又可以在已知其三维结构的情况下,基于不同的纹理信息对其进行渲染,充分发挥了图像数据样本多、类型广泛的优势以及深度学习强大的表征能力,为三维重建和三维渲染的研究工作提供了新的解决思路和办法。
其他文献
分析区域劣势产业退出的基本领域及其主要方式,提出重庆劣势产业退出需要解决的几大问题。
目的分析预防性护理干预对ICU脑出血患者术后肺部感染发生率的影响。方法选择66例ICU脑出血患者(入ICU的时间:2018年11月至2019年02月),都接受手术治疗,用双色球分组法分成对
在入侵检测系统中利用免疫优势克隆算法对训练数据进行优化,获得对入侵检测发挥关键作用的特征集合,再利用基于Boosting组合的多层支撑矢量机算法对优化后的数据进行训练学习,可
本文首先综述了国内外研究利率市场化改革及公司融资约束的相关理论和实证研究,接着从已有理论分析入手,分别从信息不对称、金融结构、金融资源配置二元性以及信贷配给等角度
一直以来,诗被认为是艺术的最高表现形式,“诗性”则是一部优秀的文学作品所应具备的审美质素。陆蠡是20世纪30年代著名的散文家。在作者的笔下,无论是对故乡山川风物、人情画卷,还是内心世界的描绘,都充满着浓郁的诗意。而且,他运用新颖多变的写作技巧,将自己真挚的情感与诗人情怀灌注于散文的字里行间,清丽优美的文字之下蕴藏着深刻的哲思。这使其散文独具艺术魅力,流淌着独特的诗性美。文中将以他的三本散文集《海星
公安监管部门取消看守所犯罪嫌疑人、被告人和留所服刑罪犯参加劳动生产已成为必然趋势,如何加强闲暇时段在押人员教育转化工作显得尤为重要。看守所在押人员的教育转化工作非常具有社会价值。在押人员转化学习过程的发生需要经历一定的阶段,在主客观条件兼具的情况下才能完成。本文通过实地调查、人物访谈等途径,发现看守所在押人员教育转化工作方面存在领导重视不足、相关政策具体化程度不够、硬件设施配套不到位等多个问题。从
建立了慢正电子束注入多孔硅材料的Monte Carlo模型,研究了在该材料中不同孔洞的直径、孔洞体积百分比对正电子几率分布的影响,得到了相应的正电子深度分布曲线。同时分析了不