随着国际形式的日益严峻，在入境通关、刑侦、反恐及军事设施等领域对安全防范的需求与日俱增，对大规模人群进行快速准确的身份鉴别已成为保障公共社会安全、维护国家和谐稳定和加强国家公共安全预警能力的重要手段。本文设计了一个基于视频的自动多人脸检测、跟踪与识别系统，该系统的功能是实时检测、跟踪视频范围内的人脸并鉴别人脸的身份。本系统主要分为三个部分，即多人脸检测部分、跟踪部分和识别部分。在人脸检测部分，提出了Adaboost-ASM人脸检测算法，该算法是Adaboost人脸检测算法和主动形状模型的融合算法，主要解决Adaboost人脸检测算法易将复杂区域以及类似人脸区域误检测为人脸的问题，实现人脸的实时检测并对非人脸区域进行剔除。在人脸跟踪部分，深入分析了Camshift算法的理论基础，并针对多人脸的相互交错以及场景中人脸数目发生变化的问题，提出了一种多线程的Camshift跟踪算法实现多人脸跟踪，即MT-Camshift跟踪算法。在人脸识别部分，本文利用2D-Gabor小波变换特征提取，并分析了PCA方法和Fisher线性判别法的优缺点，本文最终采用PCA和Fisher线性判别分析方法相结合的Fisherface方法对人脸特征降维，并对人脸特征进行最有利于分类的投影。最后，将人脸的投影值与训练样本的投影值按余弦距离公式进行计算，从而鉴定人脸身份。本文应用Visual Studio2008开发环境设计了一套完整的自动多人脸检测、跟踪与识别系统，并做了大量实验进行验证。实验结果表明，该系统在视频范围内对人脸检测和身份识别准确，跟踪实时性强，可以作为人脸的实时检测、识别和跟踪的专业解决方案。