视频人脸识别是目前机器视觉领域的热门研究方向,其应用于身份验证等场合时,具有便捷、高效等特点,并在司法、金融、安防等领域广泛应用。但是,这些应用大多数是基于一种理想采集环境或人员配合方式的受限环境下的人脸识别。由于现实生活中人脸识别容易受诸如光照条件、姿态变化、表情变化等环境因素的影响,所以相对而言,非受限环境下的视频人脸识别研究更具有挑战性。利用深度学习特别是卷积神经网络开展人脸识别研究在近几年取得了显著的成绩并成为研究热点。本文对近年来人脸识别领域最新的学术动向进行了研究,发现基于卷积神经网络的深度学习是目前针对视频人脸识别研究的主流方法。影响精度的主要原因是环境的复杂多变带来的噪声,如光照、姿态、表情的变化等。针对姿势多变、光照多变等环境复杂多变的视频人脸识别问题,本文采用VGG(Visual Geometry Group)深度卷积神经网络作为基础网络,分别引入对称正定矩阵和奇异值分解以对网络进行改进,以跨帧集成面部信息以实现有效且稳健的视频面部识别。对称正定矩阵能够通过一组图像集的局部描述符对图像进行建模,奇异值分解能够对不同尺度的图像降低噪声、压缩图像矩阵。本文提出的方法分别在国际公开的人脸数据集上(YouTube Face Dataset、YouTube Celebrities Dataset)进行实验,本文主要工作及成果包括以下几个方面:(1)本文将卷积神经网络与对称正定矩阵表示结合设计了一个新的网络结构以对图像集进行表示与分类。将视频当做图像集处理,使用矩阵表示一个图像集,对称正定矩阵通过一组图像集的局部描述符对图像进行建模以表示视频中图像与图像之间的关系。另外,网络结构中使用归一化,进一步增强了网络的分类能力。(2)提出卷积神经网络与奇异值分解结合对图像集进行表示与分类。奇异值分解能够降低噪声,压缩矩阵数据。本文分析了奇异值分解后的奇异向量和奇异值的关系,并选取较大的奇异值对应的奇异向量对图像进行重构,重构结果表明,部分奇异值较大的奇异向量和奇异值能够有效的表达图像的特征。本文将深度卷积神经网络与奇异值分解进行结合,设计了一个新的网络结构,对人脸视频进行分类和识别,并选取不同数量的奇异值和奇异向量,分析不同奇异值和奇异向量对实验结果的影响。(3)为了验证提出的算法的有效性,本文在两个国际公开的数据库YTC、YTF上进行实验,通过将基于图片的人脸识别结果作为实验参照基准,本文的方法具有显著的优越性。实验结果表明,本文提出的基于视频的人脸识别方法实验结果与单张图像的相对投票法的人脸识别结果相比,在两个数据集上的识别准确率分别提升1.06%、3.31%。