基于深度学习的姿态估计方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liuxuedong0628
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉发展过程中,人体姿态估计任务一直备受关注。在工业界和学术界,姿态估计任务也是极具挑战性的任务之一,目标是使机器尽可能的检测出人体样本中关键节点,比如鼻子、左右肩、脚踝、手腕。随着深度神经网络的引入和应用,人体姿态估计任务往往是预测人类行为规律的基础研究任务,为行人检测、样本重识别、特殊行为检测、人机交互等任务提供了基础预测能力。当前主流的人体姿态估计网络框架分为两种应用型网络,即人体结构应用网络和关键点检测网络。本文对人体姿态及估计任务和主流姿态估计网络进行了细致的剖析,结合可微的网络架构搜索方法,设计了新的网络搜索空间,由此搜索得到了高性能关键点编码器和自适应关键点解码器。同时,本文对搜索出的关键点检测网络在注意力机制和多维度缩放方面进行了推广性研究。本文的主要工作包括:(1)轻量级网络架构搜索。可微的网络架构搜索算法存在不少的缺陷,其中两个便是占用显存大和性能崩坏。本文提出对超网络进行通道采样或者二值化网络处理,使得能够直接在大型数据集上进行网络架构搜索,但也导致性能崩坏的缺陷加大了。本文加入一种无偏的并且方差较小的噪声,对算子学习后的部分特征进行通道加权,能够缓解局部网络下性能崩坏的问题,提高网络架构搜索的稳定性,使得搜索出来的网络拥有不错的性能。(2)基于多尺度的关键点检测网络架构搜索。本文在保持高分辨率特征的基础上,从尺度敏感的感受野变化模块出发,以网络自主选择算子连接方式的角度,搜索多尺度特征融合网络,让不同分辨率的表征相互促进提高,最终输出具备高定位精度的姿态估计热力图。其次,本文在搜索出的关键点检测网络上对空间和通道注意力机制以及多维度模型缩放进行了推广性研究。本文设计实现了更加适合于姿态估计的多尺度网络架构搜索方法,能够进行快速的网络架构搜索。搜索出来的网络在公开数据集MPII和COCO上进行了充分的实验,取得了不错的实验结果。
其他文献
目前,利用内窥镜在微创手术中获取病灶区域的深度信息还面临诸多挑战,由内窥镜获取的二维图像的特点使得手术机器人难以准确恢复病灶部位的三维空间结构,进而限制了手术机器人进一步向智能化发展。针对这一障碍,本论文研究了基于深度学习的双目内窥镜图像重建技术,主要内容如下:1、本文针对目前常用的基于深度学习的视差估计网络在内窥镜图像上重建精度低的问题,并就内窥镜图像少纹理、易被遮挡等问题设计了一种编码器-解码
随着工业机器人的更新换代,焊接方式已经由人工焊接转变成自动焊接,在车辆制造业和造船业等领域应用十分广泛。事实上,每一套焊接系统都是针对某一特定的焊接过程而设计。本文根据某企业C64K型敞车返修焊接过程中出现的车体尺寸大,焊接范围广等一系列问题设计了一套数控智能龙门割焊系统。同时,采用直线插补原理进行示教再现,从而实现焊缝跟踪。此外,针对焊接过程中的部分焊缝间隙较大、高低错边而导致的熄弧现象,设计了
仿生技术、显示技术和物联网产业等的快速发展,推动了人们对高性能、先进电子皮肤传感器的需求。电容型压力传感器由于具有响应速度快、稳定性好、非接触式感应等类皮肤行为,成为国内外研究的热点。但是传统的平面结构的介电层具有很大的粘弹性,迟滞严重,影响了器件性能。为了解决这一问题,研究人员对器件的设计策略进行了大量的探索。目前提高电容型压力传感器性能的策略类型主要分为三种:一是选择模量较低、介电性能好的材料
目前,外骨骼机器人已经在成人康复领域有了一定规模的应用,但在脑瘫等儿童康复领域还未形成大范围的应用规模,市面上亦缺乏成熟的儿童外骨骼机器人,有关外骨骼机器人对儿童运动能力的研究也很初步,缺少外骨骼机器人对儿童步态的影响及运动功能评估研究。因此,本论文针对该问题,对AIDER儿童外骨骼机器人步行状态下的运动功能及步态影响进行了研究,以验证儿童外骨骼机器人对于儿童地面步态训练是否是可行的,步态生物力学
近些年随着深度学习的快速发展,基于深度学习的算法被广泛运用于二维目标检测和姿态估计中。在实际应用场景下,比如机械臂抓取、自动驾驶以及AR领域中,目标物体往往处在复杂的环境中,容易受到遮挡。针对遮挡场景下的物体6D姿态估计研究具有十分广阔的空间和重要的研究价值。因此本文开展基于深度学习的被遮物体姿态估计的研究,主要包括三部分:受遮挡情况下物体姿态估计问题研究,工业场景下物体自遮挡姿态估计问题研究,多
近年来,图神经网络在社交网络、推荐系统、分子化学和知识图谱等领域取得了显著的成果。一方面,它解决了深度学习方法难以处理非欧式空间数据的问题,另一方面,它提供了一种对非规则数据提取特征的方法。图结构数据是生活中广泛存在的一种数据结构,与欧氏空间的数据不同,图结构可以更好的反映节点之间的联系。随着图神经网络的迅速发展,许多针对图结构数据的研究也如雨后春笋般涌现,这些研究主要包括节点表示、链接预测和图学
扭摆滑动定向作业过程中,最常见的问题是“托压”,来自于固定的钻具与井壁之间的摩擦力。这一问题可通过扭矩摇摆技术解决,即向钻具施加正、反向扭矩,化静摩擦力为动摩擦力,以减少钻具与井壁间的作用力。目前由于缺乏相关理论支撑,在滑动定向作业过程中为使工具面转动至目标值,仍需通过扭摆系统人工对正、反向扭矩值进行调整,该方式依赖于工程师个人经验,各井的控制效果因人而异,参差不齐,作业效率较低。针对以上情况,依
路径规划一直是热门的话题和研究方向,如何及时捕获和提前预测车辆行驶时间的动态变化是解决路径规划的难点及重点,本文提出的算法能够在保证计算速度的同时,提高路径规划的准确度。本文从以下几个方向研究路径规划问题:如何最小化路径行驶时间的均值和标准偏差的(加权)线性组合来解决可靠最短路。在合理假设基础交通网络的行驶时间遵循多元高斯分布的情况下,提出了一种高斯过程路径规划(GP3)算法来计算先验最优路径作为
三维点云语义分割是将点云中的每个点按照各自的类别进行语义的划分,对同一类别的点进行相同的标注。随着三维数据获取的难度变小,基于三维数据的技术开始逐渐发展,也已经开始应用在自动驾驶、智能机器人、遥感和医疗等领域中。点云语义分割算法是三维点云处理的重要方向之一,传统的点云分割方法精度不高,因此,本论文主要研究的内容为基于深度学习的三维点云语义分割,使用的基础网络为PointNet++,并对其从局部空间
回复式神经网络(Recurrent Neural Networks,RNNs)是深度学习领域中的一种基础的人工神经网络,其作为处理序列数据的记忆模型被广泛应用。如何处理好梯度消失与梯度爆炸问题一直是训练RNN的关键和难点。长久以来,人们提出了多种方法来解决RNN训练时的梯度问题,不断设计新的RNN变体用以处理更长的序列。尽管许多经典的模型已经被提出,如何使RNN模型在快速应对序列中短期变化的同时捕