手术室环境下人体姿态估计算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:cnars
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,为了更好地理解医学临床活动,以简化临床工作流程和检测不良事件,人们对人体姿态估计模型的需求日益增长。主流的人体姿态估计算法在普通场景下能得到很好的表现,然而在手术室场景下构建一个高效的人体姿态估计模型是极具挑战性的,不仅因为手术室场景的隐私问题,导致数据和注释难以收集和生成,进而使得现有模型的训练变得困难;而且手术室场景下的图像与传统的视觉图像存在很大的不同,其中包含背景复杂、目标遮挡等问题,会导致现有方法精度下降明显。为了解决上述问题,本文主要工作如下:(1)针对手术室数据集中数据样本量较少,且数据标注与主流数据集有差异,导致结构较深的网络直接在手术室场景数据集上训练会出现无法收敛或者过拟合的问题;本文构建了一个基于Lite-HRNet的轻量级多模态网络,该方法利用深度信息作为补充,增加一路网络用于提取手术室数据集所包含深度图像的特征,并引入了一个门单元的特征融合模块SA-Gate,用于对网络提取的彩色图像特征和深度图像特征进行有效地融合,实现了针对网络中彩色图像的特征优化,提升轻量级网络的检测能力。实验表明,通过引入深度数据信息,手术室场景下的2D人体姿态估计检测精度得到了明显的提升。(2)手术室场景图像中存在背景混乱、肢体间的遮挡,以及设备遮挡等情况,针对上述复杂环境所带来检测精度低的问题;本文从网络迁移的角度,将在大数据集上得到性能更好的网络迁移到手术室数据集上,并采用了提取关节点特征能力更强的高分辨率网络作为骨干检测网络,融合注意力机制和图卷积网络,提出新的网络结构EHRNet。首先,加入用于捕获关键特征的混合注意力机制,解决网络中特征融合能力不足的问题;然后,加入了基于图卷积网络的校正模块,对本身具有图结构关系的关节点进行优化,改善了被遮挡关节点的检测;最后,在训练过程中使用领域自适应的训练方式拉进大数据集和手术室数据集间的数据分布,实现将大数据集中预训练的网络迁移到手术室场景上。实验表明,本文提出的EHRNet提升了关节点在遮挡情况下的检测精度,领域自适应的训练方法也提升了网络在手术室场景下的整体表现。
其他文献
电介质材料是现代电子工业的基石,其主要发挥了绝缘包覆、电子封装、能量存储/转化等用途,并广泛应用于航空航天、国防军工、电子电气、汽车工业等领域。与陶瓷材料相比,聚合物作为电介质材料具有更高的击穿场强及较低的介电损耗(是大多数电介质材料的关键性能),并且具有质轻、便于加工、柔韧性好的特点,受到人们更多的关注。然而,大多数聚合物受到自身热性能的限制,工作温度较低,不能满足现在新能源、航空航天、国防军工
学位
随着全球对新材料需求的不断增加,研究固有性能和特殊功能兼备的材料或复合材料已是大势所趋。作为特种工程塑料的代表,聚芳醚类材料具有较高的机械强度、优异的化学稳定性、优良的耐温性以及耐辐射性等综合性能,近些年来对聚芳醚功能化的研究愈发重视。通过物理或化学手段,使具有特殊功能的基团或组分与聚芳醚基体进行有机结合,从而得到综合性能优异的功能材料。为保证材料的固有性能,对引入聚合物基体组分的筛选至关重要,主
学位
近年来,随着光学相机、深度相机和激光雷达等设备的不断普及和升级,三维点云也逐渐在增强现实、自动驾驶和SLAM机器人等多个领域得到应用。三维点云表征学习作为三维点云领域中的重要课题,受到越来越多人的关注,这也使得人们也对三维点云表征学习方法的期望也越来越高。近五年来,研究者们提出了很多优秀的三维点云表征学习方法,使得分类和分割等下游任务的性能得到显著的提升。然而,目前三维点云表征学习中还存在一些有待
学位
生物质作为一种宝贵的可再生资源,对其进行高效开发循环利用一直是科研工作者的研究热点。农作物秸秆和畜禽粪污作为生物质的重要组成部分,具有分布广、产量大的特点,一旦处理不当便会造成环境的污染。因此,对农作物秸秆和畜禽排泄物的合理利用成为绿色农业的发展目标。基于“种养结合”理念,本文采用近临界水技术对玉米秸秆和畜禽粪污进行液化处理,探究液相产物的抑菌活性和抗氧化性,将其开发为绿色杀菌剂和抗氧化剂。以玉米
学位
热活化延迟荧光(TADF)材料的出现使得制备内量子效率为100%的纯有机电致发光器件(OLEDs)变为可能。通常我们通过构筑给体-受体(D-A)结构,使得电子最高占据轨道(HOMO)和电子最低未占轨道(LUMO)有效分离去设计分子,进而寻求利于反系间串越的较小的能级差,将不发光的三重态激子转换为可以用于发光的单重态激子。但是这种分子设计策略会增加激发态分子的结构松弛,产生较大的斯托克斯位移,使得发
学位
近年来,随着强光光学的飞速发展,飞秒激光技术也被广泛地应用到众多研究领域。当飞秒激光脉冲在介质中传播时,尤其是当等离子体出现时,会伴随着光电离、超连续谱产生和太赫兹辐射等非线性现象。因此,飞秒激光脉冲在介质中的传输特性一直是人们关注的焦点,并成为现今的一个热门方向。本论文主要研究了飞秒激光脉冲在水中成丝产生气泡的动力学过程。我们首先从激光技术的发展历史和飞秒激光成丝的物理机制出发。接下来,介绍了液
学位
社交网络是一把双刃剑,利于人们在线交流的同时也容易产生各种网络诈骗。通过对社交网络某些结构特性和信息传播特性的研究,能够帮助我们对网络进行更好的管理。社区结构是社交网络中重要的结构特征,通过挖掘社交网络中的社区结构,可以有效的对商品进行定向推广及对某些异常用户进行检测。影响力最大化问题是社交网络中广泛研究的信息传播问题,通过对社交网络的影响力分析,可以降低广告投放成本及进行舆情监测。然而随着网络结
学位
黑色素瘤是皮肤病变中死亡率最高的恶性肿瘤,医生在诊断该病灶前需要先用肉眼对皮肤镜图像中的病灶进行标注分割,分割结果的质量直接影响最终的诊断结果。这种人工标注的方式不仅具有主观性,而且耗时耗力。随着计算机辅助诊断系统的提出,皮肤镜图像自动化分割大大减少了医生的工作量。然而,皮肤镜图像中存在的伪影、多尺度、形状不规则和对比度低等挑战性问题,导致了现有分割算法依然存在局限性。本文中,受到经典模型U-Ne
学位
随着人类社会的进步,化石能源消耗量日益升高,对生态环境造成了污染,因此急需寻找可再生的清洁能源来减轻人与自然的矛盾。太阳能因其巨大的储备量而备受关注,促进了光伏技术的快速发展。钙钛矿太阳电池作为一种新型薄膜太阳电池,因制备方法简便、成本低廉、光电转化效率高等优点被广泛研究,近十年左右就将光电转换效率由最初的3.8%提升至25.7%,由此可知钙钛矿太阳电池具有广阔的发展前景,可以充分的缓解能源紧缺、
学位
由于具有奇特的几何和成键方式,平面超配位分子是一类典型的非经典、反常规分子体系,尤其是近年来发现的潜在的物理化学特性使其受到广泛关注。经典的四配位饱和碳原子是立面体构型,然而在1970年,霍夫曼等人提出了针对于平面四配位碳(pt C)的电子稳定化策略,随后的几年里在理论上设计出基态的一些pt C分子。到目前为止,大量的具有高稳定性的pt C分子被理论设计,气相观测以及实验合成,突破了碳原子的成键能
学位