【摘 要】
:
人体姿态估计是计算机视觉中一个重要的研究方向,根据输入的图片或视频文件,捕捉行人每个关节点的位置。姿态估计在生活娱乐、交通安全、安防监控方面扮演重要的角色。当前单人姿态估计取得了比较好的成果,但是多人姿态估计面临着许多的挑战。在复杂场景中,一是图片中同时存在尺寸过大和过小的行人,二是拥挤场景中行人之间的关节点相互遮挡,这两种场景中的姿态估计准确率有待提升。针对上述复杂环境中出现的多人姿态估计问题,
【基金项目】
:
国家自然科学基金青年基金—基于超像素的视频多目标协同分割,课题编号为 61702111;
论文部分内容阅读
人体姿态估计是计算机视觉中一个重要的研究方向,根据输入的图片或视频文件,捕捉行人每个关节点的位置。姿态估计在生活娱乐、交通安全、安防监控方面扮演重要的角色。当前单人姿态估计取得了比较好的成果,但是多人姿态估计面临着许多的挑战。在复杂场景中,一是图片中同时存在尺寸过大和过小的行人,二是拥挤场景中行人之间的关节点相互遮挡,这两种场景中的姿态估计准确率有待提升。针对上述复杂环境中出现的多人姿态估计问题,本文提出了尺度不变网络(ScaleInvariant Network,SIN)和SAA-BJM(Self-Adapted Attention,Best Joint Matching)网络解决上述两个问题。(1)针对图片中存在尺寸过大和过小的行人,提出了尺度不变网络,该网络包括空洞卷积模块(Dilated Convolution,DC)和交叉融合模块(Cross Fusion Module)。我们提出一种空洞卷积块,该空洞卷积块可以设置不同的扩扩张率。在不同尺寸的特征图中使用不同扩张率的空洞卷积块来进一步的特征提取,从而解决多尺度的问题。对于交叉融合模块,我们将多尺度特征融合的方式改进为交叉融合的方式。因为不同尺寸的行人实例在特征图中包含的语义信息不同,在每个空间位置,自适应的融合来自不同级别的特征图,过滤与此位置携带相互矛盾的信息,而保留更有区分度的信息。我们提出的尺度不变网络能解决多尺度输入的问题,并在COCO数据集中AP达到了72.5,实验表明我们提出的方法确实有效。(2)针对拥挤场景中行人相互遮挡的情况,本文提出了一种SAA-BJM网络解决拥挤多人姿态估计的问题,该网络包括自适应特征模块和最佳关节匹配模块(Best Joint Matching,BJM)。对于自适应特征模块,本文提出了自适应注意力(Self-Adapted Attention,SAA)机制,改进了传统的卷积结构。将输入特征图分为两组,每组负责不同尺度的特征提取,然后将这两组特征融合作为卷积后的输出。自适应注意力本质是一种多尺度特征学习的卷积结构,能自适应的学习上下文信息,从而发掘遮挡的关节点。对于最佳关节匹配模块,考虑到拥挤场景中,一个行人检测框内存在其他关节。我们改进网络的loss函数来生成目标关节和干扰关节,目标关节是当前行人的关节,干扰关节是其他行人的关节,根据检测出来的关节和行人建立行人-候选关节图,将姿态估计问题转化为图的最佳匹配问题,通过匈牙利匹配算法得到最佳的人体姿态。我们的方法在COCO数据集中AP达到了74.5,在Crowd Pose数据集中AP达到了71.2,实验表明我们提出的方法能解决拥挤场景的多人姿态估计问题。
其他文献
进入二十一世纪以来,信息化技术、计算机技术、网络通信技术等相关科学技术的快速发展在方方面面极大地改变了人们的生产生活方式。由于众多工程实践中的被控对象愈发复杂,伴随着网络在实际系统中的广泛应用,控制系统逐渐向分布化、智能化发展。对于网络化系统,由于实际生产生活中,其系统节点往往数量众多,因此,各节点间的通信数据量庞大,这给传输网络带来了较大的压力。同时,为了减轻控制器对大量测量反馈信号的计算所带来
随着智能制造业和工业4.0的不断发展,机器人正逐渐应用于复杂的装配任务,然而传统机器人技术难以满足实际应用需求。近年来,在人工智能技术取得不断突破前提下,业界和学界都在探索如何通过人工智能技术实现机器人自主装配作业。当前已有机器人自主装配技术严重依赖于固定的装配动作或预设过程。存在装配成功率低、任务泛化性不足和环境适应性差等瓶颈问题。鉴于此,本文基于多模态感知技术与深度强化学习理论,开展基于多模态
短期电力负荷预测(Short-term load forecasting,STLF)在电力系统的自动化控制、电力安全、市场运营、调度方案优化等方面发挥着重要作用,其预测范围一般为提前1天~1周。由于电力负荷序列本身的非线性、非平稳等特征以及各种影响因素对负荷的复杂影响,很难实现高精度的短期负荷预测。本文提出一种结合相似日选择(Similar Day Selection,SD)、变分模态分解(Var
随着互联网技术的高速发展以及互联网与人类生活融合的不断加深,网络在给人们带来各种便利的同时,人们所面临的网络安全问题也越来越多样:从盗取系统管理员密码、窃取私人信息与隐私,到攻击学校、政府、医院等单位服务、信息系统,破坏了系统机密性,完整性与可用性,造成社会巨大经济损失。因此网络入侵检测技术的研究也越发必要。随着深度学习理论的提出,深度学习算法在不同领域发挥着不可替代的作用,在入侵检测领域也发展迅
复杂网络主要是由若干个节点和节点之间关系所组成。在我们的现实世界中,各个领域的关系网络,包括数据、物理、生物学和电子计算机等都已经被抽象出来,形成许许多多的复杂网络。有研究结果表明,社区内部形成的网络结构在复杂的大型社交网络中普遍存在。社区发现作为目前主要研究复杂网络的关键技术和核心问题,可以通过检测各种复杂网络的潜在模型,实现进一步的应用研究,其中重叠社区是社区发现过程中的一个核心部分,对复杂网
在科技飞速发展的今天,智能、便捷已然成为时代的需求,智能车也因此而受到广泛关注。随着智能车技术的发展,智能车系统日趋复杂,对智能车和道路环境进行精确建模的难度越来越高,而传统的智能小车控制方法要求建立精确的数学模型,这给智能车的发展带来极大的挑战。与传统控制方法不同,强化学习无需知晓智能车系统的精确模型,通过交互试错的方式进行训练,在智能体与环境交互的过程中,不断学习控制策略,进而实现控制目标。本
在国家相关经济及购房限制等政策性调控之下,我国施工企业施工项目开发得到一定抑制,越来越紧张的市场竞争环境,使得许多施工企业竞争力有所下降。加上新冠疫情影响,国内经济受到较大冲击,这些变化使国内建筑公司处于更严峻的生存环境。为提升自身竞争力,建筑公司开始探索新的路径。能提升建筑公司竞争力的其中一条路径为采购管理,但当前我国建筑公司的采购管理现状并不乐观,存在一些问题亟待改善,只有设计和完善采购管理系
信息物理融合系统(Cyber-Physical systems,CPS)是工业物联网的基本组成部分,在“工业4.0”和“中国制造2025”中扮演着至关重要的角色。它通过使用传感器、计算机和网络技术,将信息系统和网络系统有效的整合起来。近年来,随着工业化和信息化的深度融合,CPS应用高速增长,但CPS的安全防护技术的研究较为缓慢,CPS的安全面临着严峻挑战。入侵检测是一种主动的防御技术,被广泛应用于
双足机器人因体型结构与人类高度相似更易融入人类社会,因此目前已成为了当前机器人领域最前沿的课题之一。双足机器人的稳定步行作为最基础的模仿人类的行为方式,具有非常广泛的应用前景,引起了国际众多学者以及高新技术企业的关注。但其具备自由度较高、机械结构复杂以及耦合性高的特点,双足机器人如何实现平滑及稳定的步行是所有足式机器人研究领域中的热点以及难点。机器人在行走过程中,步行稳定控制研究不仅能够帮助人类更
地址事件表示(Address Event Representation,AER)视觉传感器在采集视觉信号时仅检测像素的亮度变化,因而具有低功耗、低延迟和宽动态范围等优点,在机器人、自动驾驶、军事、航天等领域有着非常重要的应用价值。AER传感器输出的事件流具有稀疏性和异步性,传统基于图像帧的计算机视觉方法无法直接应用。对于AER数据的处理,需要研究专门的事件流数据表示方法和目标分类算法。在众多事件流