基于计算机视觉的行人检测与跟踪已日益成为国际上模式识别、计算机视觉和人工智能领域最活跃的研究主题之一,其在智能视频监控、智能交通、高级人机交互、异常行为分析以及虚拟现实等领域都有重要的应用。其核心是利用模式识别研究领域的理论成果,结合计算机视觉技术从视频序列中检测出行人并对其进行跟踪,该研究主题涉及图像处理、模式识别、系统状态估计、概率与统计推理等多个理论学科。同时,基于计算机视觉的行人检测与跟踪作为一种关键技术,是计算机视觉更高层次行为理解与分析的基础,它的检测精度和跟踪的鲁棒性直接影响到后续的各种诸如目标识别、行人运动分析及行为的描述与理解等高级应用处理。基于机器学习统计分类的行人检测算法有两个关键问题与检测效果密切相关,第一是行人特征的设计和提取,第二是分类器的选择和构建。针对行人检测,本文主要研究基于机器学习统计分类的行人检测算法。该类检测方法的关键在于对目标类别外观形状的描述方式、有效的图像特征提取及设计合理高效的分类器。对于行人特征的设计和提取,本文根据行人外观或形状存在总体上的一致性特征,再加上行人相比于其它目标类别的显著特性,如几何上的双侧对称性、行人直立产生的特有轮廓等特点,提出了三种能很好地反映人体本质属性的人体特征,分别为相关颜色相似性特征、随机颜色相似性特征和基于显著性的二值化特征。在分类器的选择和构建方面,本文选择基于半朴素贝叶斯的随机Fern分类器来对候选样本进行分类,取得了很好的分类效果。另外行人检测的实时性也是需要考虑的问题,对此本文也讨论了在红外场景下如何提高行人的检测速度。在复杂场景下,视觉跟踪通常都是非高斯、非线性的状态估计过程。粒子滤波是处理非高斯、非线性状态估计问题的有力理论工具,也是构架视觉跟踪算法的完备理论框架。同时,在粒子滤波理论框架下可以很容易地通过观测概率合成实现多视觉特征的融合跟踪,基于此,本文提出了基于粒子群优化的多视觉特征权值自适应粒子滤波跟踪算法。对行人目标进行跟踪的另外一个挑战是人体是结构复杂的非刚体,在运动过程中有较大的姿态变化,对此本文提出了基于特征块和稀疏表示的行人目标跟踪算法。该跟踪算法可以实现对行人的精细化跟踪,即不但可以对整个人体作为一个整体来跟踪,而且还可以实现对人体的肢体运动有更为细化的跟踪。本论文主要研究内容为如何提高基于视觉的行人检测精度和基于视觉的行人目标跟踪的稳健性,针对人体检测和跟踪中存在的特定问题,提出了行之有效的解决算法,本论文创新点主要体现在:1、颜色特征在计算机视觉研究领域是非常流行且受欢迎的一种底层特征,本文利用这个信息量丰富的底层特征,提出了一种基于颜色空间的行人特征描述子,称为相关颜色相似性特征(relationalcolorsimilarityfeature,rcs)。该特征描述子不是局限于直接用颜色本身亮度值,而是通过一定的准则把颜色特征进行转换,映射到其它特征空间,对于映射后得到的人体特征描述子,其外在表现已经与颜色本身没有直接联系,却能很好的描述行人固有的双侧对称性和直立特性。2、基于半朴素贝叶斯算法的随机fern分类器有较好的分类性能和较快的分类速度,为了更进一步提高其分类速度,本文采用二值特征来对该分类器进行训练,对此,本文在相关颜色相似性特征(rcs)的基础上提出了随机颜色相似性特征(randomcolorsimilarityfeature,rancs)。同时,又因为人的服饰相比于周围自然场景有特有的纹理,这些在人类视觉系统看来具有很强的“显著性”,尤其是人体和背景接触的边缘部分,“显著性”更为突出。基于此,本文提出了基于显著性的二值化特征(saliencybasedbinaryfeature,sbf)。3、在红外场景下,针对目前逐行列逐像素的遍历检测方法所带来的检测速度和效率较低的问题,为了提高红外场景下的人体检测速度,本文提出了基于显著性检测的预处理方案,该预处理方法首先采用显著性检测算法快速地提取出可能包含行人的区域,然后在此区域上进行人体检测,这在一定程度上能大大提高人体的检测速度。4、在实际场景中,基于单一视觉特征的目标跟踪算法随着场景的变化很难实现稳健的跟踪,为了提高跟踪算法的鲁棒性,提出了基于粒子群优化多特征权值自适应的粒子滤波跟踪算法,通过对复杂场景下的行人目标进行跟踪验证了该多视觉特征权值自适应融合跟踪算法的有效性。5、针对行人姿态多变的非刚体特性,提出了基于特征块和稀疏表示的行人目标跟踪算法,以此来实现对行人目标的精细化跟踪,即可以实现对运动行人肢体的细化跟踪。采用稀疏表示的方法是因为图像的稀疏表示本身对噪声和局部遮挡不敏感,以其作为观测模型,可以减弱背景噪声和局部遮挡对跟踪算法产生的不利影响。采用特征块的跟踪可以实现对运动行人肢体的细化跟踪。同时,采用一种增量学习的方法来对目标模板进行在线更新,以适应光照、行人姿态变化等因素引起的目标外观变化。实验结果表明该算法对于行人的外观和姿态产生较大变化时也有稳健的跟踪效果。