人体运动数据的特征表示与合成研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:hhj9290
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
运动捕获数据作为一种新型的多媒体数据,在影视,游戏和医疗康复领域都得到了广泛应用。此类数据通过记录每一时刻人体关节点的位置和朝向,构成整个运动帧序列。由于其捕获到的人体位置信息非常的准确,能够在各种复杂的场景中刻画出人物模型的运动,给人以强大的视觉冲击,因此获得了大量用户的青睐。但专业的运动捕获设备价格高昂,所以只有大型的机构或公司才能完成运动捕获的任务。运动合成技术由于能够利用现有的运动数据,通过分析建模合成出用户所需的运动序列,因而在运动建模领域成为了一个研究热点。但运动捕获数据自由度较高并且数据结构复杂,需要运动特征学习算法获取运动数据中的时序信息和空间信息,用于完成运动数据相关的任务,例如运动分割,关键帧提取,运动合成等任务。早期的一些运动特征学习和运动合成算法基本上都是从统计学的角度出发,没有考虑到运动数据的运动学特性,之后又有学者提出了基于机器学习方法的相关模型,但只是将一些经典的机器学习算法在运动数据上进行了套用,没有取得较好的结果,因此本学位论文利用运动数据的重要特性,针对运动特征表示和运动合成任务,设计适用于人体捕获数据的深度模型。具体工作包括两个方面:(1)基于局部自表示子空间学习的运动特征表示学习:提出了一种针对运动捕获数据的时序自监督学习模型,将运动数据和分割任务的特性作为监督信息指导子空间的学习。具体来说,考虑到运动数据的时序性,使用时序卷积模块提取时序特征。为了在时序任务中实现自表示的局部有效性,设计了局部自表示层,用于阻断时序上相隔较远帧之间的联系。为了模拟特征空间中运动数据的可插值性,对局部自表示层的权重施加组稀疏性的约束,以此选择合适的关键帧重构出整个运动序列。此外,基于子空间理论,提出了子空间投影损失,将每个运动帧投影到对应的子空间,通过计算该样本到自己所属空间的距离惩罚潜在的分类错误。在合成数据的实验中,通过对所学习到的显式特征进行可视化,验证本模型的线性特征学习能力。在真实运动捕获数据的实验中,运动分割和关键帧提取的结果证明了该方法的有效性。(2)基于首尾帧和运动规律的运动合成模型:为提高运动合成的可控性和可理解性,将运动首尾帧和动规律联系起来,学习首尾帧与运动规律之间的非线性映射关系,通过输入给定的首尾帧,输出对应的运动序列。该模型主要分为运动规律提取网络和运动合成网络。基于LSTM的网络用于高效提取运动规律,以解决之前基于优化算法时间成本过高的问题。运动合成网络是由合成模块提取首尾帧所包含的特征信息,并学习首尾帧与运动规律之间的非线性联系,以解决现有方法采用联合特征空间建模的理论缺陷。实验中高效准确的运动规律提取结果和高质量的运动合成序列验证了本模型的有效性。
其他文献
人体动作识别是深度学习中重要应用任务之一,精准识别人体动作所表达的语义信息可以为人们生产生活提供便利,在人类生活的各个方面都具有重大意义。现有人体动作识别方法大部分是基于视频数据和骨骼点数据,采用深度学习的动作识别方法,这些动作识别方法在当时已经取得十分不错的成果,但仍然存在一些不足之处:一方面,人体骨骼点中存在丰富的空间和时间特征,模型对这部分特征的关注度不足;且现有方法对于人体动作特征的提取仅
学位
随着工业制造4.0的到来,制造系统向着多品种小批次的方向转变,柔性作业车间生产模式得以广泛应用。人工蜂群算法(Artificial Bee Colony Algorithm,ABC)自提出以来因其机制灵活、参数少等优点被广泛关注,非常适合结合其他算子设计混合算法求解各类问题。本文将ABC与多种优秀算子和策略相结合,设计了不同的混合ABC算法,着力于3种柔性作业车间调度问题(Flexible Job
学位
传统深度神经网络剪枝算法通常旨在消除网络中的冗余结构,以轻量化神经网络。然而,目前一些研究发现一个过参数化的随机初始化神经网络中的稀疏结构本身就具备很好的性能,并设计了一些剪枝算法以找到隐藏在过参数化神经网络中的稀疏结构。这些研究表明剪枝也可被用来寻找过参数化神经网络中的稀疏结构,本文重点研究了基于掩膜学习的神经网络剪枝算法,通过学习掩膜来找到过参数化神经网络中的稀疏子网络。本文具体进行了以下两个
学位
最近,国家为助力实现“碳达峰”和“碳中和”目标,由工业和信息化部等部门联合发布了《电机能效提升计划(2021-2023)》。电机各项性能的要求越来越高,考虑单个目标的电机性能设计已经很难满足现实设计需求,电机的多目标优化设计成为了电机达到高效节能目标的重要途经。本课题以一种新型轴向磁场永磁记忆电机(axial flux permanent magnet memory motor,AFPMMM)为研
学位
随机非线性系统指的是输入输出及干扰项存在随机因素或者系统本身带有某种不确定性的非线性受控系统,它可以在金融、股票清算、电力系统建模和人口动力学等方面提供一个良好的数学建模框架。对于控制系统来说,稳定性是研究控制系统首要解决的问题,所以近些年来,关于随机非线性系统的稳定性问题一直是专家学者深入研究的热点,并取得了一系列优秀的研究成果,但仍有许多关于随机稳定的问题值得近一步讨论和改进。因此本文研究了基
学位
随着科技发展和社会进步,各个领域对预测模型的精度、稳定性要求越来越高。近年来,深度学习中的循环神经网络(RNN)技术,特别是其与另一深度学习技术-卷积神经网络(CNN)相融合的CNN-RNN架构在预测中显示出强大优势。但基于RNN的模型在预测任务中存在滞后性,流行的CNN-RNN架构也未解决上述问题。注意到宽度学习系统(BLS)具有权重计算直接、运算快速高效的优点,本文尝试融合宽度学习和深度学习的
学位
显著性目标检测旨在识别出图像中最显著的对象与区域,目前已经成功地作为目标跟踪、物体识别以及语义分割等计算机视觉领域任务的预处理过程。传统方法大多依靠颜色,纹理等手工特征或者启发式先验来捕获图像的局部细节以及全局上下文信息,受制于特征的表达能力,在复杂场景中检测显著物体的能力大打折扣。近年来,卷积神经网络快速发展,得益于海量的数据以及模型强大的特征表达能力,基于深度学习的算法在性能上有了巨大提升。本
学位
海洋暖涡观测需要多智能体之间的协同以及任务分配,尤其是异构智能体之间的协同可以充分发挥不同智能体之间的特点。在多智能体的暖涡观测中,合理的任务分配可以保证系统以最小的代价完成全部任务,这是多智能体多任务问题的研究热点之一;路径规划是智能体在已知或者未知环境信息的前提下执行任务时,为智能体提供从起始点到终点的可行路线。以上述为前提,本文开展了面向暖涡观测的多智能体路径规划研究,主要研究内容如下:1、
学位
全卷积孪生网络目标跟踪算法由于其很好地平衡了精度和速度的关系而得到快速发展。但是仍然存在一些难点限制其跟踪性能,如背景混杂、遮挡以及形变等。特别是在相似背景信息干扰下会出现跟踪漂移,而且现有的基于锚框生成的目标跟踪算法超参数多,带来额外的复杂度和计算消耗。此外,只利用卷积神经网络提取的单一层语义信息做跟踪预测会导致图像信息利用不充分,不能形成更鲁棒地跟踪,而简单的将多层特征自适应融合的效果并不理想
学位
雾天能见度降低给高速公路的通行效率与安全运营带来了极大威胁,全方位高效的能见度检测对交通管理具有十分重要的意义。随着高速公路监控设备的普及,通过构建基于监控图像的能见度自动检测方法,能够在降低成本的同时实现密集的大范围检测。然而由于成像设备及成像条件存在差异,且监控图像特征与能见度类别之间具有复杂的非线性关系,如何依据图像进行准确的能见度检测是一项具有挑战性的任务。鉴于深度卷积网络优异的特征学习能
学位