人体行为识别目前已经广泛应用于社会生产生活的许多领域，例如银行、车站、机场、商场、道路、办公楼和居民小区等场所的视频监控系统。目前，可应用的场合包括了运动捕捉、监控视频分析、视频分类、体育运动与娱乐视频处理、智能家居开发、人机交互、环境控制与监视等等。目前主要的人体行为识别方法大致可以分为基于人体模型跟踪、基于光流直方图以及基于局部时空特征的方法三大类，它们都有各自的不足之处。基于人体模型跟踪的方法要求提取精确的人体模板，该方法的鲁棒性相对较差。基于光流直方图的方法采用光流直方图进行人体动作识别。但是光流对背景噪音以及不同光照强度的鲁棒性很差。基于局部时空特征的方法通过滤波和非极值抑制法提取出兴趣点，并进一步提取人体动作的局部时空特征作为识别的依据。该方法适用于低分辨率的视频数据。并且局部时空特征的提取对尺度伸缩、拍摄视角和光照亮暗与否不敏感。在前人研究基础上，本课题提出了基于两种不同特征的人体行为识别方法，分别是基于形状上下文和基于SURF（Speeded-UpRobust Features，加速健壮特征）兴趣点的人体行为识别算法。基于形状上下文的方法是一种基于关键轮廓的人体行为识别方法。该方法定义一种基于形状上下文（Shape Context）的形状距离。根据最小形状距离准则，采用K中心点聚类算法提取出每类行为的若干关键轮廓。在识别阶段，给定一个动作视频，计算视频中每一帧与每类行为关键轮廓的距离，并给每类行为投票，最后将该动作视频标识为得票最多的动作。实验结果表明，形状上下文应用于精确完整的人体轮廓匹配时效果很好，并且基于形状距离的K中心点聚类算法提取出的一组关键轮廓足以完整地描述一种人体动作。为了提高算法对遮挡、重叠、尺度变化和光照变化的鲁棒性，基于SURF的方法将具有旋转不变性、尺度不变性和仿射不变性等优势的SURF兴趣点应用于人体行为识别中。该算法采用SURF检测器检测出时空兴趣点，通过累积一定时间内在时间和空间两维上特征显著的兴趣点，构造出运动轨迹点集，并从运动轨迹点集中提取与人体行为相关的特征。实验证明，这种结合SURF兴趣点和运动轨迹信息的行为识别算法具有很明显优势，运动轨迹点集能够完整充分地描绘出动作轨迹形成过程，而且不依赖前景提取和定位的SURF兴趣点提高了算法对背景噪音、光照强度变化以及不同拍摄角度的鲁棒性。