基于图神经网络的姿态时空特征提取与匹配

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:qinchuanhedian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着技术的发展,视频和照片数据快速增加。对这些图片和视频中的特征进行分析有助于我们了解人类的行为,具有重要的理论和实践意义,因此我们需要分析姿势和姿势序列的特征。在这篇论文中,我们研究了如何使用图神经网络从2D人体姿态中提取特征,匹配相应的目标。先前的方法已经探索了如何利用图卷积来从2D姿势回归相应的3D姿态以及识别相应的动作等,但是它们假定了邻接矩阵中人类骨骼的自然拓扑结构,这使得图卷积的接收域受限.另外,这些方法仅利用2D姿势的位置信息,无法克服信息不足导致的深度歧义问题。同时,室外3D姿态标注是极其困难的,这大大限制了现有姿态提取与匹配模型的在室外的泛化性。为了解决这些问题,我们主要提出了两点改进,一是提出了自适应语义图卷积算子,在学习人体骨架自然连接的强度的同时学习不直接相连关节点之间的联系。二是我们提出利用序数深度信息,也就是关节点相对于其父节点是否离摄像头更近的信息,来构建骨架图。一方面,这有助于减少2D姿态固有的深度歧义,另一方面,这有助于克服野外环境难以获得3D关节点标注的难题。我们在三个不同的姿态时空特征提取与匹配任务上进行了实验:从单张2D骨架回归相应的3D姿态、从2D骨架序列回归相应的3D姿态及匹配骨架序列与相应的语义动作。实验表明,自适应语义图卷积能够更好的提取姿态时空特征,序数深度信息能够有效解决2D姿态固有的深度歧义。
其他文献
全球有数百万人患有下肢疾病。被动式踝关节假肢不能够完全实现踝关节功能。在市场上很少有主动式踝关节假肢,其在站立阶段可以比现有的被动式踝关节假肢提供更好的支撑功能,
在过去的二十年里,由于光电子和光纤通信产业的快速发展,光纤传感器技术已经成为光电子和光纤通信等相关产业必不可少的一部分。在与光纤传感器对比时,传统的电类传感器不具
随着科技的发展,各种彩色显示技术层出不穷,彩色显示技术在人们的生活中扮演了重要的角色。基于空间光调制器的彩色显示方法不断被提出,这一技术热点未来也必将被运用的越来
基于深度学习的图像超分辨率研究大多数将注意力集中在超分辨率网络模型的设计上,这类模型假设低分辨率(Low Resolution,LR)图像是高分辨率(High Resolution,HR)图像经双三次
智能家居作为物联网应用中一种新兴的关键组成部分,用户和设备之间的安全通信是一个重要的因素,一旦遭到敌手的攻击,就会直接威胁到用户的人身财产安全。特别的,智能家居环境
随着人们对3D视频更高分辨率、更强立体感的需求增加,多视点视频信息使存储和传输的数据量急剧增加,立体视频编码迎来挑战,阻碍了立体视频的发展。面对这一难题,为了提高立体
从危险区域中快速疏散的Online探索问题研究的是多边形探索的变形问题,它要求探索出一个能够从某边界信息未知的危险区域中快速撤离的路径。该问题的研究,不仅涉及到计算几何
旅客同行关系作为一种特殊的社交关系在民航领域有着重要的研究意义与应用前景。民航旅客同行关系网络预测旨在对由民航旅客为节点,旅客共同出行关系为边的同构网络进行链接
深度学习是近些年来发展最迅速的技术之一,以深度学习为基础的各类人工智能技术已经融入了生活的每一个角落。将深度学习应用于医学图像领域,实现计算机的辅助诊断,不仅可以
随着网络技术、控制技术和传感器技术的发展,多智能体系统(MASs)的一致性控制已被广泛应用于交通控制、电力系统、机器人、无人机及军事等多个方面,也为此受到了研究学者们的