人脸表情是人类情感信息交流的重要方式之一。表情识别已成为拟人化的新型人际交互模式研究中的关键课题之一。目前,国内外有多所研究机构和高校的研究人员采用不同的方法对人脸表情识别相关技术和算法进行了探索,取得了一定的成果。但总的来说,人脸表情识别还处于实验室阶段,大部分的研究是针对人为表情进行的。人为表情外观表现生硬,变化单一,并且与人自发的表情差距较大,因此,针对自发表情的研究有利于推进表情识别的实用化进程。本文针对自发表情的特点,提出了三种自发表情识别方法,并将自发表情识别应用于视频情感语义隐性标注中。具体工作如下:(1)提出了一种基于头部运动的自发表情识别方法。方法中,我们首先使用人眼定位算法,定位表情起始帧和夸张帧中瞳孔位置,接着根据瞳孔位置和起始帧夸张帧帧差提取五种头部运动特征;其次使用主动外观模型(AAM:Active Appearance Model)算法在夸张帧提取三十种外观特征;最后使用最小序列优化算法(SMO:Sequential Minimal Optimization)进行分类识别。实验结果表明:头部运动特征对于恐惧表情有比较好的区分度;头部运动可以单独应用于自发表情识别,也可以在使用外观特征识别表情时加入头部运动特征提高识别率。(2)提出了基于头部运动的态度识别方法。方法中,首先使用人眼定位算法,在每一帧定位瞳孔位置;然后计算双眼中心坐标;如果连续帧双眼中心在x方向位移大于在y方向位移则判定为点头即肯定态度,否则判定为否定态度;最后,根据所有连续帧结果使用投票算法得到最终识别结果。实验结果表明:该方法可以实时有效的识别用户态度。(3)提出了基于特征点追踪算法的自发表情识别方法。方法中,首先根据人眼定位结果将表情序列进行归一化并在起始帧手工标记23个特征点作为追踪的起始点;其次,使用Kalman滤波器进行特征点追踪;接着,根据特征点的坐标,提取了特征点位移和特征点间距变化两种特征;最后将特征输入隐马尔科夫模型进行分类识别。实验结果表明:基于Kalman滤波器的特征点追踪算法能够取得较好的结果;基于特征点间距变化特征的识别效果明显好于基于特征点位移特征;自发表情识别率低于人为表情。(4)提出了基于自发表情识别的视频情感语义隐性标注方法。方法中采用了第一个工作中的表情识别方法识别用户在观看视频时的表情,并以此推理用户所观看视频的情感语义标签。实验结果表明:基于可靠的表情识别方法,表情可以用于推理情绪,并以此给视频提供情感语义标签。