基于视频信息的说话者检测,就是不借助音频信息,单从说话者的嘴唇动作来判定谁在说话的检测方法。涉及到的相关技术有视频镜头分割、人脸检测与跟踪、嘴唇区域定位以及唇动判断。对于人名的标注,同时需要文本信息的辅助,考虑到字幕和剧本各自的特点,需要进行二者的融合。在字幕和剧本的融合中,本文引入了动态时间规整算法,采用这种算法的思想,以单词为特征进行融合,取得了不错的效果。对于人脸的监测与跟踪,考虑到检测的准确率、效率以及代码复用,本文采用OpenCV视觉库中的AdaBoost算法和MeanShift算法,这种组合方法经过相关研究的实验验证,取得了比较好的检测和跟踪效果,故而本文用这种方法进行人脸序列的提取。嘴部检测一直是唇读领域研究的内容,本文将其引入到说话者检测中的嘴唇区域定位过程中。考虑了相关文献中提出的方法,利用唇色这一天然特征来提取唇色相近区域,并在此基础上加以改进,进一步的确定嘴唇区域。经测试观察取得了良好的效果。之前的研究中,在说话者检测中采用的唇动判断方法,不像唇读中所使用的方法那么复杂,大都是对相邻帧的嘴部区域做帧间差,并设定阈值,以此来判断相邻帧之间是否有嘴唇的变化,判断为唇动。本文引入了机器学习的方法,通过提取嘴唇区域的多种特征,利用训练的分类器来进行唇动的判断。经实验验证,正确率及鲁棒性都有了很大提高。相关文献中采用的检测说话者的方法,是基于单帧图像来进行判断,即判断某一帧图像中人物是否在说话。对于在一个图像序列中,某个人脸序列只是唇动但没有说话的情况,这种方法无法进行区分。因而本文选择的判断方法是基于图像序列,即判断在一段时间内,视频中的人物有没有说话。本文提出的方法更符合实际情况,同时也取得了比较好的实验结果。