【摘 要】
:
人脸关键点检测和三维人脸重建是计算机视觉领域的研究热点,然而在大姿态或遮挡情况时,会出现建模不稳定以及定位不准确的困境。本文主要使用基于图像序列的三维人脸重建和关键点检测技术,研究如何对摄像机拍摄获取的视频进行三维人脸重建和人脸关键点检测,并降低人脸关键点检测结果的抖动问题。本文的主要工作如下:(1)基于知识蒸馏的2D人脸关键点检测方法。准确且快速的处理2D关键点坐标,是3D人脸重建和关键点定位的
论文部分内容阅读
人脸关键点检测和三维人脸重建是计算机视觉领域的研究热点,然而在大姿态或遮挡情况时,会出现建模不稳定以及定位不准确的困境。本文主要使用基于图像序列的三维人脸重建和关键点检测技术,研究如何对摄像机拍摄获取的视频进行三维人脸重建和人脸关键点检测,并降低人脸关键点检测结果的抖动问题。本文的主要工作如下:(1)基于知识蒸馏的2D人脸关键点检测方法。准确且快速的处理2D关键点坐标,是3D人脸重建和关键点定位的基础,现有关键点检测算法只注重泛化能力,模型推理效率则不关心。而泛化性能好的模型参数量一般较大,计算复杂度高。因此,本文提出一种基于知识蒸馏的人脸关键点检测方法,首先设计了一个堆叠多个沙漏模块的复杂教师模型,其模型结构鲁棒,人脸关键点定位精确,满足实际使用的定位精度要求;其次设计了一个由深度可分离卷积,倒残差,SE块等组成的精简学生模型,其模型参数仅为教师模型的1/16,有效提升了特征提取的速度,满足实际使用的速度要求;最后通过知识蒸馏策略,联合特征回归和人脸关键点定位方法,使用预训练的教师模型有监督指导训练学生模型,将教师模型的知识传递给学生模型,使得学生模型同时兼顾模型推理速度快和关键点定位精度高的优点。(2)基于图像序列的三维人脸关键点检测和人脸重建。现有的三维人脸关键点定位和三维人脸重建模型一般重点关注定位和重建精度,应用于动态视频或异常遮挡时模型稳定性和准确性都显著降低。因此,本文提出一种基于图像序列联合学习的新方法。首先,本文制作了新的视频数据集Speech Data,包括111个单人的演讲和生活视频,单个视频时长30秒(1000帧图像),对其进行2D人脸关键点检测后使用3DFitting拟合3D人脸关键点;其次,为了降低人脸关键点的抖动性,基于连续多帧图像相似性原理,设计了一种加权抖动损失函数,减小相邻帧之间人脸关键点坐标位置的差异;最后,对Rest Net18和Flame模型进行改进提出Frames Net框架,实现了图像序列中3D人脸重建和人脸关键点检测。实验结果表明,本文算法在稳定性方面取得了显著的提升。
其他文献
我国地处构造活动活跃区域,形成了多种活动构造地貌类型,伴随着它们晚新生代以来发生的强烈活动,发育了各种类型的活动褶皱和活动断层,并频繁引发破坏性地震和各种地质灾害。对活动构造地貌的研究可以反推一定时期内地壳运动特征,得到构造活动的幅度、间隔时间、速率等数据,对地质灾害防治、地震预测与安全评价、重大工程选址都有重要的意义。本文以川西阿坝盆地为研究区,在总结前人研究资料的基础上,采用ASTER-DEM
随着人们对环境和食品安全问题的日益关注,可食用和环境友好的材料逐渐成为了研究热点。为了开发一种可用于食品保鲜的绿色制剂,我们采用微波/超声波辅助共沉淀法制备了对茴香醛(PAA)/β-环糊精(β-CD)包合物,并对其物理性质包括水分含量,堆积密度,吸湿性,包封率(EE)和负载率(LC)进行了测定。利用扫描电子显微镜(SEM)、粒度分析、傅立叶变换红外光谱(FT-IR)、X射线衍射(XRD)、热重分析
光纤传感技术近些年取得了飞速的发展,利用光纤作为传感和传输介质,可以实现对于整条光纤上物理量的测量。本文对基于Φ-OTDR的分布式光纤振动传感系统进行了研究,其具有成本较低、抗电磁干扰、耐腐蚀、耐高温等优点,在资源勘探、石油和天然气管道安全监测、微弱水声信号检测、威胁分类、周界安防、列车实时定位、军事国防等领域都有着广泛的应用。振动信号定位和相位解调技术对于本系统来说是必不可少的,其中正交解调方法
由于工业发展和人类活动,大量含有重金属的污水、废水排放到环境中,对水源造成严重污染。重金属污染通常范围广、不易察觉,然而会通过食物链在人体内累积并产生危害。因此重金属污染的快速准确监测对人类健康具有重要意义。比色阵列是一种快速分析技术,通过模拟动物的嗅觉,利用多个传感元件的响应模式来判别目标物,结合数字化图像方法技术,广泛应用于复杂成分的分析,在食品安全监测方面表现出明显的优势。然而比色阵列仍存在
研究背景与目的:未足月胎膜早破易引起早产、难产、新生儿呼吸窘迫、母婴感染等不良妊娠结局,甚至导致胎儿死亡。目前对胎膜进行修补是治疗未足月胎膜早破的理想方法,但该方法技术尚不成熟,修补材料的选择也尚无定论。光敏水凝胶是一种能在光照射下固化的生物材料,是一种潜在可用的生物密封材料。本课题拟利用光敏水凝胶进行对胎膜早破修复的体外研究,探索不同光照时间、不同大小的胎膜破口及不同羊水量形成的压力对光敏水凝胶
研究背景与目的骨肉瘤是最常见的原发性恶性骨肿瘤,好发于儿童和青少年,具有快速浸润性生长、早期肺转移和高复发率等特征。局限性骨肉瘤患者的五年总体生存率为65%-75%,而复发性或转移性骨肉瘤患者的五年总体生存率仅为20%。目前,骨肉瘤仍缺乏特异性的诊断和治疗靶点,迫切需要开展更多的分子研究以寻找具有应用前景的生物标志物。环状RNA(circular RNA,circRNA)广泛表达于真核生物,通过海
本文研究的外部加强方钢管节点是一种改进型钢框架梁柱节点,通过在相邻H型钢梁上下翼缘之间增设T型部件对节点域进行加强。目前关于节点及框架结构的力学性能研究大多集中在平面内,很少考虑节点和结构的空间受力特性,但由于地震作用方向的不确定性,钢框架梁柱节点表现为空间受力特点尚未广泛研究。因此本文分析了外部加强方钢管空间中柱节点在平面荷载和空间荷载作用下的静力性能。通过改变方钢管柱板厚度、梁柱线刚度比、T型
图像修复与分割是计算机视觉与图像处理领域的研究热点。结合对应图像的深度信息会使得彩色图像分割的准确度得到更大的提高。但是,基于深度的彩色图像及其分割算法上也存在一定的不足,表现在(1)由于深度摄像机物理结构上存在的问题以及外界条件影响,使得深度图的部分区域存在错误的深度值;(2)使用体素化网格对结合深度信息的图像分割问题处理的传统计算方法具有较高的冗余度且计算复杂;(3)目前的卷积神经网络只能处理
近年来,中国的综合国力正在逐步增强,出国留学人数也相应增多。留学咨询机构大量招聘外籍员工以提高服务质量。与此同时,为了使外籍员工更好地结合学生的自身情况为学生提供院校选择和文书指导等服务,留学咨询公司积极开展岗前培训工作以增强外籍员工对中国留学生的了解。2018年9月,新东方前途出国公司举办了一场外籍员工岗前培训讲座,作者担任了此次讲座的译员,进行了时长约两小时的汉英交替传译,按照讲座口译项目的总
拟建交通工程昌都至林芝段的跨怒江特大桥为线路控制性桥位,其桥位选取以地质条件为基础,受控于岸坡位置和隧道洞口位置。为此,本文针对怒江特大桥选址,进行工程地质定性分区研究,并采用模糊综合评判法、信息量法、修正灰色聚类法并基于python语言和Arc Gis软件进行量化选址研究为确定怒江特大桥进出口位置提供重要依据。主要成果如下:(1)查明了研究区工程地质条件和自然地理条件。以地形地貌和地层岩性为主要