基于双目彩色图像的手部深度及关节点估计

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:wangcn426
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手部姿态估计在人机交互、交流表达、机器人抓取等众多场景具有重要应用,也是计算机视觉领域中的研究热点。由于彩色图像缺少绝对的深度信息,从彩色图像中估计手部姿态是一种高维非线性映射,同时人手本身具有自相似和自遮挡等问题,因此从彩色图像估计手部姿态仍然是一个充满挑战的任务。本文基于双目彩色图像对手部姿态估计进行分析和研究,研究内容主要分为以下三个部分:(1)针对从二维图像到空间坐标映射的不确定性问题,本文提出基于全监督方式从双目彩色图像中重建手部深度图和估计手部关节点的方案,设计一种“双目彩色图像—手部深度图—手部关节点坐标”三段式实施思路。全监督的方案使用深度图像和手部3D关节点真值监督网络训练。这种三段式思路充分利用双目图像中包含的空间信息,以手部深度图像作为桥梁缓解从图像平面到空间坐标的不确定性问题。本文通过在STB数据集上进行丰富实验,验证方案的有效性,其中手部关节点估计的平均关节点误差为6.14mm,达到目前最高的精度。(2)全监督的方案能有效地从双目图像中获取手部深度图像和关节点坐标,但是依赖于真值监督,而真值标注存在成本较高、难于获取等问题。为此,本文进一步提出弱监督方式从双目彩色图像中重建手部深度图和估计手部关节点坐标的方案,该方案只需少量2D关节点标注用于微调网络,避免了使用成本较高的深度图像真值和3D关节点标注。本文通过在STB数据集上进行丰富的自对比实验并与其他方法进行对比,验证了弱监督方案的有效性。(3)从降低训练成本、增强方案实用性的角度出发,本文在全监督方案的基础上进行优化,设计了弱监督的方案,为本文方法走向实际应用打下了基础。为了进一步验证弱监督方案的实用性和泛化性能,本文制作真实场景中的手部双目彩色图像数据集,并使用该数据集训练弱监督网络,通过实验结果分析弱监督方案在实际场景中的性能,为该方案面向实际应用提供数据支撑。手部数据集在后续也会公开,用于支持手部姿态估计的研究。
其他文献
网络在信息化的社会中已经拥有不可取代的地位,然而频发的网络安全问题也不可被忽视,与教学和生活息息相关的校园网也是如此。出口带宽限制、威胁事件突发等问题都会带来严重的后果。防火墙的部署能够有效管理网络,其产生的日志中包含各种信息,分析这些数据能够及时了解网络状态。然而防火墙等网络设备产生的日志数量增长过快,如何高效地完成对海量日志数据的处理,又是一个亟待解决的难题。基于以上的问题和需求,本文以防火墙
铝电解电容器是寿命敏感器件,随着时间的推移,其参数退化到一定程度时,必然会影响电路板的寿命,故而研究其退化规律与寿命特征是至关重要的。文章从铝电解电容器结构和退化机理出发,将温度作为加速敏感应力设计了加速退化试验,并采用加速退化数据进行寿命预测,给出了延长铝电解电容器使用寿命的正向设计方向;从状态修的需求出发,提出了基于BP神经网络的铝电解电容器剩余寿命预测方法,其预测数据来源既可以是现场实测数据
显著性目标检测对于图像理解的进步至关重要,并且已在各种计算机视觉和图像处理任务中展现出巨大的潜力。现有的显著性目标检测算法根据输入图像类型可以分为RGB、RGB-D和光场方法三类。不同于RGB数据,RGB-D和光场数据通过深度图、多视角图和焦点堆栈提供了场景的精确几何信息,如此丰富的几何信息可以为显著性目标检测在挑战性场景下提供有效的显著性特征。然而,显著性目标检测作为许多任务的预处理步骤,要求高
随着数据规模和计算资源的快速增长,机器学习在理论和实践两方面都取得了长足进展。传统机器学习算法需要大量的标注数据用于训练,然而在诸多实际应用中获取大量标注数据的代价非常高。此外,传统机器学习算法通常依赖于训练数据和测试数据服从独立同分布这一假设,然而在实际应用中上述假设往往难以成立。域适应放宽了这一假设,能够从具有丰富标签数据的相关领域进行知识迁移与复用,是解决目标任务标注数据稀缺的一种基础方法。
图像文本匹配在连接视觉和语言方面起着至关重要的作用。目前的一部分先进方法试图通过丰富的特征编码推断更有视觉语义性的全局对齐信息;而另一部分模型通过采用跨模态的注意力单元来捕捉区域和单词之间的潜在局部对应关系,然后将所有的对齐信息整合得到最终的相似度。无论是开发图像和文本之间的全局对齐,还是探索区域和单词之间的细粒度对应关系,都取得了令人印象深刻的成功。然而,这些工作都面临两个亟需解决的问题。首先,
随着社会经济和科技的发展,越来越多的监控摄像头被安装在社会的各个角落,这些摄像头在维护社会治安方面起到了巨大作用。然而很多时候如何高效地利用好这些数据却是一项十分艰巨的任务,使用科技手段以减少人力是一个很自然的选择。因此,针对自动跟踪并关联多个摄像头下面多个行人技术的研究有着十分重要的现实意义,该技术被称为多摄像头多行人跟踪。多摄像头多行人跟踪是一个复杂的任务,该技术可以对不同摄像头下面的多个行人
基于深度学习的三维目标检测方法需要大规模的标注数据才能达到良好的性能,而三维框的标注需要标注者在不完整的2.5D稀疏点云下,凭经验不断调整其边界,标注难度大且容易引入标注误差。为了解决标注难问题,本文对自监督三维目标检测方法进行深入研究,主要分为以下三个部分:(1)为了解决三维目标检测对大规模标注数据的依赖和标注难问题,本文设计了“预测—渲染—比较”三段式结构的自监督双目三维目标检测网络,只需要简
海洋监测系统主要负责对海洋情况进行视觉监视和参数检测。随着人工智能技术的崛起,将深度学习技术应用于海浪检测上的研究成为了海洋监测系统的发展趋势。目前将深度学习应用在海浪参数检测上的研究大多数只关注到二维卷积神经网络对海浪图像的二维特征提取,网络模型只能学习到海浪图像的空间信息。为了能对海浪运动的时间信息加以利用,本文通过将二维卷积核增加时间维度扩展成三维卷积核,提出一种基于三维卷积核的神经网络模型
视频分割方法对于众多计算机视觉任务非常重要,尤其是在影音娱乐的视频交互应用中。基于深度学习的视频分割方法在测试数据集上显示出比传统方法更高的准确性,但在大多数实际应用中为了自动校正抖动伪像,而付出了更多的时间成本,此外高质量且具有完整标注的视频序列和大规模复杂环境的视频数据集都十分稀缺。本文研究了这种抖动伪影如何降低视频分割结果的视觉质量,发现以神经网络学习为主的算法受到标注质量的影响更大,人工在
Ⅱ型糖尿病是一种慢性代谢性疾病,影响全世界近1亿人。在过去的20年里,确诊患有Ⅱ型糖尿病的成人数量飞速增长。而对糖尿病患者来说,患病后可能会引起的其他并发症是医疗花费主要压力,也是造成患者死亡的最大因素。如果可以提前预测出糖尿病患者罹患并发症的情况,将给医生和患者提供很大的方便。也将大大降低医疗费用支出。当下医学上对于糖尿病并发症的检测,还停留在患者表现出症状以后再进行专门医学检测的阶段。一方面随