人脸识别技术是模式识别和计算机视觉领域的一个重要研究课题，在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。但是，在现实视频环境中，由于成像条件的限制、光照变化、人脸畸变、表情变化、人脸图像分辨率过低等因素影响，导致人脸识别率显著下降，使得人脸识别技术很难应用于商业和家庭生活中。因此，要实现一个具有很强鲁棒性的人脸识别系统，还需要很多难题需要解决。本文针对视频人脸识别中存在的难题做重点研究，并提出解决方案。首先在特征提取方面，采用离散余弦变换（discrete cosine transformation，DCT）和局部二值模式（local binary pattern，LBP）相结合的方法提取人脸特征，通过DCT和LBP分别提取人脸的频域特征和空域的纹理特征，然后将提取的特征融合，得到空域和频域的互补性特征，从而提高识别率；同时改进LBP为ε-LBP，通过调整ε改变不同的LBP尺度来提取不同的纹理特征，再选取更适合分类的特征子空间。提取特征后，提出ReliefF-SVM RFE（support vector machine regression featureelimination）组合式特征选择方法，去除对分类无用的冗余特征，选取出对分类最有用的特征空间，以提高识别率和减少识别时间。针对人脸表情变化、人脸畸变、分辨率低等问题，本文采用超分辨率（SR,Super Resolution）重建算法来解决。首先是对视频序列帧提出基于B样条的多级自由形式形变（free form deformation，FFD）进行配准，即先用低分辨率FFD网格做全局粗配准，并在配准的相似性测度中引入人脸边缘信息作为度量以提高配准精度，然后再用高分辨率网格对人脸形变较大部位做局部细配准。通过配准解决人脸表情变化和人脸畸变，同时通过配准使得人脸图像达到空间上的一致，为重建做准备。最后对配准好的人脸图像序列采用凸集投影（projections ontoconvex sets，POCS）算法重建高分辨率人脸图像。为验证算法性能，采用Chokepoint视频库进行实验。结果显示，在不同的环境下，本文算法都能够很好的克服光照变化、表情变化、人脸畸变以及低分辨率等给识别带来的影响，达到较高的识别率和较强的鲁棒性。