基于深度学习的双目内窥镜图像重建研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lovesnow
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,利用内窥镜在微创手术中获取病灶区域的深度信息还面临诸多挑战,由内窥镜获取的二维图像的特点使得手术机器人难以准确恢复病灶部位的三维空间结构,进而限制了手术机器人进一步向智能化发展。针对这一障碍,本论文研究了基于深度学习的双目内窥镜图像重建技术,主要内容如下:1、本文针对目前常用的基于深度学习的视差估计网络在内窥镜图像上重建精度低的问题,并就内窥镜图像少纹理、易被遮挡等问题设计了一种编码器-解码器结构。首先使用空洞卷积提升卷积感受野,利用图像中大区域的上下文信息提升编码器对图像特征的感知能力,并将不同扩张率的空洞卷积用于同一隐层特征。其次使用多层级的卷积特征图进行融合后进行上采样,以提升网络对图像的细节抓取能力,最后在损失函数部分,将立体匹配问题中左右一致性约束和视差平滑约束加入到损失函数中,更充分地使用双目图像对中左右视角的约束信息。该网络框架是一个端到端的模型,直接将立体图像对作为输入即可得到左右图像之间的视差。从实验结果看来,该模型对内窥镜图像的细节更敏感,而对光照反射干扰则更鲁棒。2、针对内窥镜图像的动态特性,本文提出一种逐帧迭代优化求解的视差估计方法。该方法先将一种传统的样条形变模型嵌入到立体匹配网络,利用内窥镜数据进行训练得到一个标准的样条模型;再在该模型基础上进行训练,建立一个单层感知机形式的经验形变模型;最后使用经验形变模型对每一帧内窥镜图像进行视差估计,该视差估计过程是一个迭代求优过程,以应对内窥镜图像的动态特性。本文所使用的传统样条形变模型为薄板样条插值(Thin-plate Spline,TPS)模型。由于经验形变模型是以TPS模型为基础,在内窥镜数据上训练得到的,因此经验形变模型较之标准的TPS模型,在内窥镜图像中软组织形变的表示上更加准确。另外,在建立经验形变模型阶段,本文提出使用交替训练模型参数的方式来训练模型,使经验形变模型保留TPS的光滑形变特点,自带光滑约束。实验结果表明,使用该方法训练得到的经验形变模型不仅保留了TPS模型的光滑性,对兴趣区域细节感知能力也有所提升。
其他文献
用以运输天然气和石油的管道是国家经济发展的重要通道之一,它属于铁磁性材料,相对磁导率远大于1容易磁化。管道服役过程中,容易遭受地质灾害、地壳运动、内外酸性介质腐蚀等环境的影响,在管道内外部、焊缝处造成不同程度腐蚀和破坏,导致管道爆炸、输送介质泄露等重大安全事故。因此,对管道定期安全性检测与维护具有重要意义。本文研究基于电磁涡流检测技术对油气管道内部表面缺陷的检测。涡流检测是以电磁感应原理为基础的无
如今随着生活和工作的压力增大,人们越发关注自己的身心健康状况。人体行为识别在生活中占据着重要位置,在医疗,健康,娱乐,监控方面均有涉及。对获取有时效性,便捷性,可视化简单信息的需求增加,通过可穿戴设备进行人体行为识别的发展可观。传统的人体行为识别方法往往只是借助可穿戴,摄像头,录音笔等设备获取原始数据,离线分析得出结果,但这些方法得到的结果具有滞后性,获取信息,标定数据过程繁琐。如何快速便捷地采集
随着AI技术的不断发展,以无人车、无人潜航器、无人机为代表的智能体成为学术界和工业界的研究热点。高效的语义SLAM系统是移动机器人在未知环境下进行自主定位、导航和人机交互等高级任务的基础。而三维语义地图的构建作为该系统的一项共性的核心技术,是当前的难点问题。特别是现有成熟的激光或者视觉SLAM系统还无法做到对环境中高维的语义信息的理解和应用。现有的语义SLAM系统的实现高度依赖强大的算力和不可解释
自主探索是一种机器人在任务过程中动态地发现周围环境并进行实时建图的方法,适用于测绘、灾区勘探和巡检等领域,特别是多机器人与单机器人相比,在大规模场景中更有优势。在多机器人协同探索过程中,每个机器人都要识别其下一个探索目标点,还要与其他机器人进行协调,其目的是减少探索过程中的冗余信息,实现在最短的时间内覆盖一个初始完全未知的环境。本文重点研究了探索过程中,如何对机器人的目标点进行有效地评价,以及如何
自1960年美国军方开展外骨骼机器人项目以来,国内外研究者不断进行各种外骨骼机器人的探索,以期实现助力助行的目的。然而,作为一种与人体紧密接触的可穿戴设备,外骨骼的性能受到结构、执行器、绑缚、控制策略等多种因素的影响,如何评估外骨骼参数变化对性能的影响成为外骨骼设计过程中的一大难点。基于上述背景,本文主要面向下肢助力外骨骼机器人,进行人机耦合系统建模和仿真相关的研究,以期利用计算机仿真技术模拟人穿
随着人工智能技术的不断发展,“人机协作”应运而生,人机协作并不是简单的人机分工,而是充分开发人和机器人的互补能力,实现团队绩效最大化。本文面向人机协作搬运场景,针对该场景下的人和机械臂之间如何实现高效的协作展开了研究,本文主要工作内容为:(1)根据研究需求,确定平台的设计方案,搭建基于sEMG和IMU的人-机械臂协作验证平台。对肌电传感器和姿态传感器进行二次开发,搭建基于Py Qt的上位机软件。机
随着科学技术的高速发展,高频电路的应用越来越广泛,对高频电信号测量的需求也逐渐增加,高频信号的测量分析通常需要高采样率、高带宽的示波器,并且要求示波器具有多种数据处理功能。随着计算机技术的成熟应用,结合计算机资源的插卡式示波器需求也逐渐增多。本课题在设计PXIe示波器采集板卡的基础上,完成12.8GSPS数据采集模块数字系统的设计。本课题的具体研究内容如下:1、高速采集模块数字系统整体设计。结合实
机械臂在更为普遍的场景,复杂的环境,以及长时间的高负荷工作等条件下运行,将不可避免受到复杂且未知的不确定性影响,并明显降低机械臂末端执行器的操作性能。另外,日渐苛刻的工业应用场合除要求机械臂系统具备高稳定性和高精度性能指标外,控制误差的有限时间收敛、控制器的低计算成本以及机械臂操作模式的简便性都是不可或缺且亟待达成的重要指标。尽管参数不确定性机械臂自适应控制一直是国内外学者研究的热点,但上述问题仍
编队是多智能体的一种重要协同行为。研究复杂环境下的多智能体编队控制具有重要的理论意义和应用价值。为了得到一种面向室内复杂环境下的编队控制方法,本文采用UWB定位系统对移动机器人进行室内定位,设计并优化了一种基于相对位置信息的编队控制方法,并搭建了室内编队控制系统平台进行实验验证。论文主要内容如下:1)设计了一种基于相对位置信息和虚拟领航者的编队控制方法。利用期望队形数据和实际定位数据的差值生成虚拟
多机器人之间的合作与协调可以完成单机器人无法胜任的高度复杂任务,对于实现在分布式空间环境中协同完成任务具有重大意义,可以极大地促进机器人技术的发展。多机器人编队一直是多机器人系统控制的重要内容,室内环境下的多机器人编队研究具有重要价值,但也存在一系列问题。在控制方法方面,传统的多机器人编队方法主要为集中式控制与分布式控制两类方法,集中式控制对上位机性能要求较高,多机器人本身无法进行运动控制,系统整