人体行为识别在众多场景具有十分广阔的应用前景,随着深度学习成为人工智能发展历程中不可或缺的核心技术,采用深度学习的方法对视频中人体行为识别进行研究与应用具有重要的意义和价值。卷积神经网络(CNN)作为深度学习的一种代表算法,在计算机视觉领域,如图像识别与目标检测等任务中取得了成功的应用,视频相较于图像增加了时间维度,并且视频数据格式多样,如何利用CNN有效的学习视频中人体行为的时序信息,目前仍值得进行深入研究和探讨。因此,采用CNN对视频行为识别算法进行研究和改进,针对多种视频数据格式的行为识别问题提出和实现了对应的方案,同时,为探索和推动行为识别技术面向实际应用,实现了一种监控视频场景下的行为识别系统,对视频中的人体行为进行自动识别。主要内容及创新包括:1.针对深度视频,首先采用空间结构动态深度图技术,将视频映射压缩到二维空间作行为表征,然后考虑到该表征抽象层次较低,为对该表征进行更充分的特征学习和抽象,设计了具有联合监督的卷积神经网络,提高网络的类内聚合和类间分离能力,同时该网络的设计还充分的考虑到小样本情况下训练过程容易过拟合的情况。2.针对RGB视频,提出了基于时空注意力与自适应融合策略的网络模型,该时空注意力机制具有简洁高效的特性,其作用于多个视频图像帧的堆叠特征层面,以同时对时序和空间特征进行相关性系数加权;自适应融合策略引入三维卷积神经网络对高层次特征进行具有自适应性的融合,提高模型的性能和泛化能力,且该策略作用于高层次特征,其输入尺度较小,可较好地提高模型的运行效率。3.针对视频行为识别的实际应用,首先以本文提出的模型为系统核心,基于改进的时间滑窗法实现在线的视频行为识别。然后为对系统的性能和识别效果做具体的定量分析,采用一定时间交叠率下的准确率作为系统识别准确率的评价指标,采用每分钟视频处理所需耗时作为系统运行效率的评价指标,为行为识别的实际应用做出了积极的探索。