面向人体姿态估计的轻量化神经网络研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:ihwfihwf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,人体姿态估计是一项基于图像或视频定位人的关节点的任务。人体姿态估计是大量重要计算机视觉任务的基础和前置任务,如动作识别、行人重定位、人机交互、行为识别、动画建模、图像检索、智能视频监控等。近几年随着深度学习技术的迅速发展,开始有学者将深度学习技术特别是卷积神经网络用于估计人体姿态,提高了人体姿态估计的准确性。然而,将基于卷积神经网络的人体姿态估计部署到实际场景也存在着一些困难。其中一个关键的问题是,由于神经网络模型具有较大的参数量和计算量,达到甚至超过目前手机等移动端的存储和计算力的上限,导致人体姿态估计应用在移动端上的落地变得困难。针对上述问题,本文研究了人体姿态估计中的卷积神经网络算法,设计了几种轻量化的网络结构,在人体姿态估计的准确度变动不大的前提下,较大程度地提升了姿态估计网络的运算速度并同时减少存储所需空间。本文的主要工作总结如下:(1)介绍了图像处理任务中常用的特征提取模块如RFB(Receptive Field Block)、HDC(Hybrid Dilated Convolution)等,并通过增加跳跃连接、更改分支设计等手段,使得该模块适宜于人体姿态估计任务,同时相较于原始的模块,新模块的关键点信息提取能力获得提升,同时也保持轻量化。(2)介绍了人体姿态估计任务中几种常用的网络如沙漏网络(Hourglass Network)、高分辨率网络(HRNet)等,并依照不同尺度信息相互融合、增加上下文语义信息、特征不断精炼的思路,设计了深度融合网络、多尺度融合网络、倒金字塔网络、编码解码网络、S形网络等人体姿态估计的网络结构。(3)在(2)中设计的网络的基础上,利用数据增强、在线困难关键点挖掘(Online Hard Keypoints Mining)等机制增强网络的鲁棒性,并在COCO Keypoint数据集测试了网络的表现,实验结果表明,所设计的网络结构在准确定位关键点的同时大大降低了计算量和存储开销,其中效果最好的深度融合网络在COCO Keypoint数据集上接近目前最好的结果。最后实际场景测试也证明了所设计的网络在复杂环境下具有良好的鲁棒性。
其他文献
随着微电子和计算机系统技术的发展,可穿戴智能设备在世界各地逐渐普及,它们通常配备有各式各样的传感器,例如最常见的加速度计和陀螺仪等,这为人类活动识别(Human Activity
质量是企业发展的根本,质量管理改善方法的有效使用能够极大的提升企业质量管理的能力与水平。质量管理通过多年的发展,理论成熟、方法多种,但在中国企业内的运用效果差强人
由于维度的降低,石墨烯、二硫化钼等二维材料往往表现出块体材料不具备的新奇性质,并有望在柔性电子器件、能源转化与储存、热管理、润滑等诸多领域得到广泛应用。然而,到目前为止二维材料还没有实现大规模商业化应用,其中一个重要技术瓶颈是二维材料规模化制备。目前二维材料的制备方法主要有机械剥离、化学气相沉积、溶液化学法以及液相剥离。但是这些制备方法都存在一些缺点。机械剥离、化学气相沉积以及溶液化学法制备出的样
金属有机框架(Metal-Organic Frameworks,MOFs)是一类在气体吸附与分离、发光材料和化学催化等领域具有应用潜力的配位聚合物材料。本文合成了多种有机配体,使用这些有机配体制
2005年7月,我国踏上汇率市场化形成机制改革路程。12年过去,成效显著,汇率波动区间持续扩大,人民币汇率的市场化程度越来越高。然而近两年国际投机资本的持续冲击,央行频繁的市场干预也让境内外外汇市场间的联系错综复杂。这也成为国内外学者关注的热点。“8.11”汇改以来,人们日益关注未来人民币市场汇率的变化趋势及人民币市场汇率由哪一个市场主导的问题,也由此引发了多次香港人民币离岸市场的多空博弈,凸显了
前列腺癌是老年男性最为普遍的癌症之一,每年都会进行大量的穿刺手术用于诊断前列腺癌。传统的经直肠超声(Trans-Rectal Ultrasound,TRUS)引导的穿刺活检,因其实时性、低成本
我国是烟草产销大国,为了防治烟叶的真菌病害,提高烟叶的产量和质量,在烟草种植过程中三唑类杀菌剂农药的使用不可避免。在三唑类杀菌剂使用过程中,由于种植者操作的不规范和喷施过量,可能出现烟叶中三唑类农残留超标的现象。烟叶中残留的三唑类杀菌剂污染环境、危害人体健康、影响我国进出口贸易,因此,烟叶中三唑类杀菌剂的快速、高效的痕量分析尤为重要。本文旨在研究针对烟叶中三唑醇的快速、可视化检测方法,通过分子印迹
在不对称催化氢化合成领域的研究过程中,手性催化剂的存在是反应高效和高选择性的原因。手性膦配体作为催化剂的重要组成部分,受到了广泛的研究,其中,轴手性双膦配体的研究最
随着集成电路技术节点逐渐逼近原子尺度,集成电路的发展逐渐进入到了物理尺度上的极限,与此同时,芯片的性能也逐渐逼近了极限。借鉴生物大脑的结构和工作方式,发展类脑芯片技
随着移动机器人技术的不断发展,其核心之一的SLAM技术也取得了很大的进步,以激光传感器为主的系统已相对完善,以视觉传感器为主的系统性能得到了快速提升。随着计算机速度的