随着计算机硬件设备的不断升级以及人们对公共场所的安全需求不断提升，智能视频监控系统的重要性日益凸显。而智能视频监控中的两个最基本的问题，行人检测与异常行为分析，也逐渐成为了计算机视觉领域的研究热点。本文主要的研究内容是基于视频的行人检测与异常行为分析，本文分别对这重要的两项技术提出有效的解决方案。由于人体有着多变的外观以及可能出现多种状态，因此，在视频中进行检测行人是一项非常困难的任务。首要的困难就是怎样提取一个鲁棒的人体特征集，这种特征集要求能在不同光照条件的复杂背景下，能够消除人体各种形态的歧义。通过实验，可以知道，用局部正规化的梯度直方图（Histogram of Oriented Gradients,HOG）方法提取出的特征值，比用现存的其它特征提取方法，提取出的特征值，更加适应视频中行人检测的要求。为了简单和处理速度，本文采用线性SVM（Support Vector Machine）分类器，对训练样本进行分类。在得出初步的检测框之后，在框中的1/4以上的位置进行头部检测，从而可以降低误检率。实验结果表明，本文所使用的方法，能够满足视频中行人检测的实时性，鲁棒性，准确性的要求。异常行为检测使用到的方法主要是用时空马尔科夫随机场模型实现了视频中的异常行为检测。首先将视频序列中的帧划分成若干个区块做为MRF模型的节点。紧接着，为了能够求出区块的特征描述符再对区块进行划分出更小的子区域。在描述帧信息时，本文使用了光流法。统计出每个子区域中的光流信息，在对统计完的光流信息用视觉词袋做处理，最后就可以得出每个节点块的特征描述符。最终结合视频的时空特性，通过求解MRF模型的能量函数，判断出是否有异常行为发生。这部分使用了光流法提取出像素点的运动方向和速度信息，对视频中的帧序列进行区块划分后，采取视觉词袋模型进行聚类编码表示。有了编码化的特征，就可以构造出了马尔科夫随机场模型的节点特征描述符。这种方法并不是基于物体跟踪的方法，因此在人群密集的场合更加有效。本文将会对梯度方向直方图特征、Lucas–Kanade光流法、视觉词袋的建立、时空马尔科夫随机场模型等方法进行介绍。通过实验表明，本文所使用的方法能够有效的在多场景中完成行人检测与异常行为分析的任务。