基于卷积神经网络的头部姿态估计应用研究

来源 :上海海洋大学 | 被引量 : 0次 | 上传用户:wxsshj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域,关于深度学习的研究逐渐增多,其发展也日新月异,特别是在人的面部包括生物特征和表情识别、头部姿态估计、活体检测等领域的应用广泛。日前,在社会发展的需求和促进下,各式各样的计算机技术在不断地被发掘,其中,计算机视觉中的头部姿态估计研究已经成为该领域的一大热点。国内外众多的科学研究院、大学实验室、公司研究机构等陆续都在开展对头部姿态估计的研究,将深度学习应用于头部姿态估计算法,旨在提高运行的速率和检测的准确率。头部姿态多种多样,人的点头、摇头可以代表当下人内心的认同或者否定的想法,面部五官同时也能反映心理想法或者情绪状态。人的注意力和视线定位同样也能反映当前人的心理活动。随着科技的进步,头部姿态估计开始应用于智慧教室、医疗医学、疲劳驾驶等与生活息息相关的场景中。在智慧教室中,通过捕捉学生的头部姿态可以了解到学生对课堂的参与度;在医疗医学中,通过捕捉患者的生物特征或头部姿态可以匹配患者的医疗信息;在疲劳驾驶中,通过捕捉驾驶员的面部表情和头部动作可以提示目前该驾驶员的驾驶状态是否处于危险疲劳驾驶。文章是基于卷积神经网络的头部姿态估计应用研究,利用并改进现有的深度学习算法,优化卷积神经网络的网络结构,结合相机模型和其他模型,在公共数据和自建数据上进行训练试验。本课题的研究可以减少外界环境因素的影响,能够有效提高头部姿态估计的鲁棒性和模型运行速度。文章的具体工作内容如下:(1)引发交通事故的因素有许多如超速行驶、酒后驾车等,其中因驾驶员在疲劳状态下驾驶机动车辆而导致的交通事故已经成为了主要原因之一,因此,如何利用计算视觉技术来准确有效地检测是驾驶员的驾驶状态成为了目前的研究热点。文章采用了基于人脸关键点的驾驶员头部姿态估计,通过该方法来判断是否涉及疲劳驾驶。首先从摄像头采集视频序列,定位每帧图像中的人脸信息,利用相机模型估计人的头部姿态;然后,通过基于多任务卷积神经网络的人脸关键点检测方法判断人的睁闭眼状态、嘴部的张口哈欠状态和头部的转头姿态。实验结果表明,基于人脸特征点的头部姿态估计方法能准确的判断疲劳状态,在公共数据集300-W和Multi-PIE中疲劳检测的准确率达到97%,有较好的实时性和鲁棒性。(2)在头部姿态估计方法中最为常见的是68个特征点定位,但是过多的特征点使得训练模型偏大,不利于提高特征点定位的准确率。文章提出了基于深度残差和人脸对齐的头部姿态估计方法。首先,通过对深度残差网络结构的优化提高网络的计算速度、非线性能力;然后,识别人脸并定位面部特征点中眼部、鼻尖、嘴部、下巴轮廓中的10个特征点;最后,结合3D人脸模型对头部姿态进行估计。实验表明在公共数据集Helen、CFP数据上的归一化平均误差为2.63和3.97。在Celeb A和互联网上随机抽取图像作为自建数据集,试验后的归一化平均误差为2.6,具有较好的鲁棒性,实时运行速度达到每秒25-33帧。(3)由于受到部分遮挡或角度过大无法定位面部关键特征点的情况,传统的头部姿态估计方法会出现准确率下降或无法进行头部姿态估计的情况。文章提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;其次,改进池化层,用卷积层代替池化层增加网络的非线性能力;最后,引入Ada Bound优化器,利用Softmax回归模型做姿态分类训练。实验结果表明,该方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现多角度转动下的头部姿态估计如抬头、低头、偏头等角度,在Pointing’04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在22-29帧/秒。
其他文献
我国水产品总量连年上升,水产养殖规模也愈发扩大。对养殖区域内的水质进行严格管理和把控,将直接关系到水产养殖的经济成果。目前常规的水质监测系统存在成本高、控制反应慢、采集数据精度低、不能预测数据等不足。为了解决常规水质监测系统中存在的问题,提高对水质的精准管理能力,增强水产养殖过程中的风险防范能力,本文展开了以下的研究:一、设计具有较高精度的水质数据采集系统。基于超低功耗芯片和高精度传感器设计的水质
图像数据作为大数据的一种常见表现形式,早已呈现出爆炸式增长的趋势和海量而冗杂的特点,面对海量图像数据的检索分析与存储管理,设计高效、精确的图像检索策略成为了当下的重要课题。作为近期的研究热点,图像检索技术在基于深度神经网络的图像检索方法已取得了诸多进展,特别是在差异性较大的图像检索方面效果较优,但在差异较小的图像检索方面还存在较大的提升空间,如不同种类鸟的图像检索。在图像检索的过程中,度量和评价各
评分预测是推荐系统中的一个核心问题,用于量化用户对不同商品的偏好。由于训练数据中评级分布的不平衡,现有的推荐模型通常会产生有偏差的预测。因此,它们在预测长尾样本的性能通常不能令人满意。针对上述问题,本文提出两个解决方案。第一个模型命名为TADO(Time-v arying Attention with Dual-Optimizer Model)。此方法在第三章进行详细介绍。TADO专注于解决基于评
随着人工智能、物联网以及5G服务的到来,以数据知识为基础的企业,才能在全球市场上保持竞争优势,现如今越来越多的企业建立了不同的信息系统,这些信息系统数据库中存在大量的事件日志,然而,管理者很难从数量庞大的事件日志中提取有价值的信息,并且为了在竞争快速发展的世界中,更好的支持业务流程这一需求日益突显,通过对业务流程事件日志进行分析与预测,可以为企业监控提供决策和支持。通过预测不同的业务目标,不断的完
在大面积水产养殖中,水质关键因子监测智能化与信息化日渐普及,国内外相关领域研究不断推进并取得了长足的进展。为方便水产养殖人员对水产品养殖水体实时的、高质量的、准确的把握,本课题在前人的基础上,构建了对水质因素数据实时显示的远程监测系统。针对水产水质监测领域所存在的显著问题,本课题的研究内容如下:针对自适应传感器接口,根据IEEE1451.2智能传感器接口标准,设计了数据采集单元的多接口板。便于根据
台风是最严重的自然灾害之一,北太平洋西部具有世界上最频繁的热带气旋(台风)活动,在过去几十年中,台风造成的生命威胁以及经济损失已成为严重影响沿海地区人民正常生活的因素。因此,如何准确预测台风路径,辅助气象监测部门对台风进行准确预报,已成为当下热门的研究课题。然而由于台风轨迹有诸多影响因素,导致难以进行特征因子的提取,且需要的计算成本高。传统方法需要结合众多相关领域的先验知识,在耗时耗力的同时,预测
解决计算机视觉问题时,分割是最主要的任务。尤其在自动驾驶、室内导航以及医学造影等领域,语义分割技术的影响不容小觑。近年来,基于深度学习方法的图像语义分割算法已经取得了优异的成绩,尤其是基于卷积神经网络的方法,例如FCN、PSPNet。较传统基于图论的分割方法相比,基于卷积神经网络的分割方法可以将更好的将图像进行全局特征分析,并且提取出各像素点之间的隐藏关联信息。凭借此优势,基于卷积神经网络的图像分
现如今物联网的发展速度已经超出了人们的想象,万物互联已经是大势所趋,人们身边已经充斥着各种各样的物联网应用成果,家中有智能家居,农业有农业物联网,工业有工业物联网,汽车有车联网,学校中有教育信息化。针对高校而言,物联网的发展给学校带来了新的提升教育信息化水平、减少能源浪费的机会。论文以此为背景,设计了一个基于物联网的云数据采集分析控制系统,通过在教室安装智能设备(如日光灯、空调、投影等),以及多种
目前国内陆基工厂化养殖模式得到大力推广和发展,智能机械化设备也在养殖任务中发挥重要的作用。水产养殖中,鱼粪、残饵及微生物菌群等物质会附着在池底和池壁上,影响水质导致病害发生,需要定期的予以清除。传统清洗方式需要人工手持板刷或者拖着水枪机四周环绕清刷,工作繁琐重复且池底易滑,也不符合节能环保的理念。本文的研究对象—鱼池清刷机器人主要用于养殖车间的鱼池池底污染物清理,解决了人工清洗存在的问题,清洁效率
在世界各国进军海洋的进程中,水下作业装备扮演着极其重要的角色,水下机器人作为目前普遍使用的海洋探测作业装置,在民用和军事两大领域的相关海洋活动中,发挥着不可替代的关键作用。水下机器人控制技术作为控制理论在水下作业工程装备方面的具体应用,对水下机器人尤其是自主水下机器人的发展具有重大影响和深远意义。自主水下机器人控制技术的研究方向主要涵盖构建控制系统体系结构、动力学建模与模型的合理简化及相关参数的优