基于深度学习的人体姿态估计方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:huangyqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计,指根据人体解剖结构定义的人体骨架特征,通过在图像上定位人体关键点像素坐标来构建人的整体姿态,是一个关键点位置的定位问题。基于图像的人体姿态估计是一个重要的底层视觉问题,该方向的研究对人机交互,行为识别和行人重识别等高层视觉任务有非常重大的意义。为此,本文研究基于深度学习的人体姿态估计算法。
  由于身体关键点是相互连接的,对身体关键点之间的结构关系进行建模可以提高定位性能。基于原始图卷积网络,本文提出了一种新颖的模型,称为姿态图卷积网络,以利用这些重要的关系进行姿态估计。具体来说,我们的模型根据人体骨架在人体关键点之间建立有向图。图中每个节点(关键点)都由一个3-D张量表示,每个张量由多个特征图组成,这些特征图初始是由骨干网络产生的。此外,本文提出了注意力机制以关注关键点之间关键的边(结构信息)。具体地,本文为姿态图卷积网络提出了两个模块,即局部姿态图卷积网络模块和非局部姿态图卷积网络模块。前者利用空间注意力来捕捉相邻关键点局部区域之间的相关性,以精确调整关键点的位置。后者通过非局部操作来建模远距离关系,以预测困难的关键点。实验表明,本文提出的姿态图卷积网络优于当前算法的性能。
  现有方法受困于困难场景下的样本数量不足的问题,这使得他们在困难场景下性能不佳。为了增加困难场景下样本的数量,以前的方法通过裁剪和粘贴具有弱语义的图像块来对进行数据增强,这种方法得到的图片表观不真实且多样性有限。并且,以前方法是一种静态的数据增强方法,无法考虑训练样本之间的差异和姿态估计网络的动态训练状态。为此,本文提出了一种基于空间变换网络的对抗语义数据增强。该方法首先利用人体分割算法,从训练集中提取身体部件,并根据人体结构将提取出来的身体部件组合成各种语义粒度的身体部件。然后利用一个空间变换网络将采样到的身体部件动态地放置到输入图像上,来产生困难的样本。姿态估计网络将从生成的样本上学习如何在困难场景下准确定位关键点。我们将空间变换网络作为生成器,将姿态估计网络作为判别器,以对抗的方式进行训练。实验表明,本文提出的基于对抗语义数据增强的人体姿态估计算法达到了最先进的水平。
  当前人体姿态估计方法大多采用多阶段的网络结构,这为网络提供了一种反复的推理机制。针对这种多阶段的结构,本文提出一种新的镜像姿态蒸馏模型学习策略来进一步提高多阶段网络的性能。具体而言,镜像姿态蒸馏策略首先训练一个镜像网络以学习姿态结构信息,这种姿态结构信息隐含在镜像模型多个阶段的输出中。随后一个多阶段热度图融合模块被用来提取姿态结构信息,并将该信息迁移到具有相同网络结构的本体模型中,以此来提高本体模型的性能。实验表明,本文提出的镜像姿态蒸馏策略提升了多阶段网络的性能。
  本文从网络结构与数据增强方面展开研究,提升了人体姿态估计性能,对人体姿态估计及其相关领域有着重要的推动意义。
其他文献
【摘 要】当前社会对医疗服务行为的法律化有着极高的要求,本文指出了高等醫学院校的学生在培养法制教育的过程中所存在的不足,并针对这些不足提出相应的解决策略,以此来加强高等医学院校对学生的法制教育[1]。  【关键词】医学院校;法制教育;调查研究  【中图分类号】G41 【文献标识码】A  【文章编号】2095-3089(2018)34-0054-02  随着中国法律体系的建立以及新医改政策的全面实施
期刊
【摘 要】所说的差异教学,意味着意识到学生之间的差异,以学生为课堂的重心,充分发挥学生的主观能动性。学生以当前的课堂教学为基础进行大胆创新,丰富学习经验。在小学美术教学过程中,教师应该注重整体,充分发挥差异带来的优势,合理配置教学资源,做好课堂教学内容的设计,来提高小学美术的教学质量。  【关键词】小学美术;差异教学;资源利用  【中图分类号】G426 【文献标识码】A  【文章编号】2095-3
期刊
【摘 要】我们国家在党的十七大中指出:优先发展教育,建设人才资源强国。而随着这些国家教育战略的积极部署,我们社会越来越注重学生的教育和培养。与此同时,中学阶段作为一个帮助学生成长成才的重要阶段,其对于学生的日后学习和未来发展具有重要作用。因此,我们教育工作者们要在中学阶段加强德育工作,为国家、为社会培养出更多的高素质人才。然而,随着现代化进程的不断加快,我们新时期中学德育工作思路需要做出积极的改变
期刊
【摘 要】21世纪是互联网飞速发展的大时代,同时更是信息快速传播的大数据时代,其赋予了人们日常生活更加鲜明的快捷化特征。依靠互联网技术迅速发展与集中迸发起来的自媒体时代,将各式信息从微博、微信、今日头条、贴吧、论坛、BBS及各种直播平台等自媒体平台上得以全球泛围内的实时传播,受到各界人士的热烈追捧,尤其是大学生。然而在当下时代,大学生的思想政治教育也面临着全新的挑战,如何抵制自媒體带来的各种负性影
期刊
【摘 要】班主任是学校教育的主力军,其地位无可取代。班主任在学习和生活过程中接触学生最为频繁,其言行举止在相当大的程度上影响学生的思想和行动。德育工作是班主任工作的首要内容,直接影响着学生的人生观和价值观,是提高学生道德认识和素质养成的关键途径。若要实现良好的德育效果就必须要求班主任以德服人、以爱育生。  【关键词】初中班主任;德育工作;以德服人;以爱育人  【中图分类号】G635.1 【文献标识
期刊
液体浓度是溶液的重要特性表征参量,液体浓度的高低对于溶液在其应用中的有效与有利利用有着至关重要的影响,能够在线、实时、快速及准确的传感检测液体浓度有着重要的工程应用意义。本论文旨在研究石墨烯基材料增强SPR的液体浓度传感技术,为液体浓度在线、实时、快速及准确的传感检测提供一种新的技术手段。
  论文基于石墨烯基材料对表面等离子共振效应的增强特性,设计了基于石墨烯基材料的棱镜型多层膜SPR传感结构,针对四种不同的待测介质溶液,对SPR传感结构中的选用材料与结构参数进行了优化,提出了分别采用石墨烯或氧化
随着机器人技术的不断发展,制造业迎来新一轮的革命。当前,机器人正从以传统汽车制造业为代表,以零部件搬运、喷涂、焊接等为主要任务的任务单一且复杂度较低的场景,过渡到以3C制造业为代表,具备小批量、多品类、短周期生产特点的多任务、高复杂度的场景中,这对机器人提出了新的挑战。基于以上背景,本文研究了以服务器为装配对象的多机器人装配技术。
  针对多机器人服务器装配中的协同运动问题,本文首先从传统的单机器人运动学入手对机器人进行了D-H建模,对基于主从关系多机器人协同运动推导了其前提实现条件与运动约束关系。
行人重识别任务主要研究如何匹配多个视野不重叠摄像头下的行人图像,是计算机视觉领域最近几年的研究热点。在真实的应用场景上,行人重识别技术在寻找失踪人口、维护公共安全和辅助公安机关刑侦破案上扮演重要角色。然而,行人重识别任务还面临很多技术上的难点,主要包括光照条件差异、相机分辨率差异、背景差异、遮挡问题、行人姿态变化等干扰因素。这些因素使得同一行人在不同的摄像头下的图像也存在较大差异,导致行人图像检索时错误匹配。本文将基于深度学习技术,针对行人匹配时的度量问题、行人视角的变化问题和相机风格的差异问题进行探究。
在工程应用中,设备的工作温度是一个重要参数。示温漆常被用于航空发动机等复杂设备的温度测试,在生产和科研中应用广泛。示温漆的颜色随温度变化会发生不可逆转的改变,将试验件与示温漆标准样板的颜色进行对比可以判读其经历的最高温度。目前示温漆的温度主要由技术员人工判读或用图像判读,但是图像判读方法存在图像采集工作量大、判读时间成本高、应用场景受限、易受环境光影响和判读精度低等缺点。为了克服上述缺点,提高判读准确率,本文在分析示温漆变色特性的基础上,研究了示温漆经历的最高温度与示温漆漫反射光谱之间的对应关系,提出基于
车辆目标的检测与跟踪在军事和民用领域均有重要意义。在一些特殊场景下,红外图像中的算法表现出其局限性,如车辆静止且车辆红外辐射与环境相似时,较难通过红外灰度信息检测到车辆;如车辆被遮挡时,若红外算法无法提取目标完整轮廓,同样难以识别目标。本论文围绕上述问题,研究了激光成像车辆检测算法,以及激光算法与红外算法的复合,最后将算法实现在DSP上。论文主要研究如下:
  针对激光图像上检测算法计算复杂度高的问题,研究了低时间复杂度、抗遮挡的激光成像车辆检测算法。算法首先建立地面距离模型,随后根据该距离模型进行