论文部分内容阅读
表情是个体之间传递信息的重要形式,多年来,情感计算一直聚焦于表情的建模和分析,以求以自动化的手段实现表情的识别及辅助人脸识别、年龄估计等相关任务。自发表情作为一种不受人为控制的表情,能够反映人的真实情感,逐渐成为新的研究热点。微表情属于自发表情的范畴,它是情绪的真实表露,是人不经意间的情感表达,因而无法复制伪造,因此在临床诊断和安全防范等领域有着重要的利用价值。但是微表情有三个显著的特点,分别是速度快,强度低,通常只存在于人脸局部区域,这给微表情的自动识别带来了极大的困难。由于微表情与普通模式具有较大的差别,当前计算机视觉领域成熟的方法并不适用于微表情识别任务,这给我们提出了更高要求。目前关于微表情自动识别的研究还比较少。本文以提高微表情自动识别的效果为目的,分别从以下四个方面展开了研究:1)查阅现有资料,总结归纳有关微表情的现有研究工作,包括微表情数据库的建立过程,微表情识别方法的发展;2)针对微表情的时空属性,提出了一种基于三正交平面交叉模式编码的微表情识别方法。首先,为了矫正人脸的旋转和平移,我们提出的人脸对齐方法使用部分人脸标志点,利用最小二乘法计算两帧之间的对齐矩阵,将一个微表情样本的所有帧都对齐到其首帧;参考面部行为编码系统(Facial Action Coding System,FACS)与面部运动区域之间的对应关系,划分了 11个互不重叠的面部分块,分别在每个分块中进行特征提取以避免相互干扰;使用互补的交叉模式在微表情的所处的三个正交平面上进行采样编码,在保持采样数量的前提下,尝试进行多尺度采样,以提高描述符编码差异性信息的能力。3)微表情的本质是一种面部微弱运动,我们提出了一种基于光流和Fisher Vector编码的微表情识别方法。首先根据光流的矢量叠加性,我们利用数学统计的方式估计出图像中存在的无关运动的光流,作为对原始光流特征的补偿;然后根据微表情局部像素一致性假设,可以从时间和空间对图像序列进行划分,得到特定划分的子块;根据每个子块的光流直方图,我们利用Fisher Vector编码的方式获取光流直方图的高阶信息以增强特征的描述能力。4)针对现有标准微表情样本稀缺、样本标注费时费力的问题,提出基于主动迁移学习的微表情识别方法。我们尝试利用主动学习和迁移学习联合学习的框架,一方面,从语义相似的表情域迁移相关的标签知识到微表情域,另一方法,借助这些知识,通过主动学习在微表情域查询少数含有信息量最多的样本,仅通过标注这些样本来提高微表情识别的效果。