近些年,随着互联网的飞速发展和影像设备的技术进步,人们在日常生活中能够接触到的视频越来越多,无论是视频的种类还是视频的总量都呈爆炸式的增长。而且人们对视频应用的需求也不仅仅局限于听和看,更重要的是解析视频的内容,并从中发现视频内部或者视频与视频之间的关系,实际上就是需要智能的方法能够实现对视频自动地分析。视频分类是计算机视觉领域当下热门的研究,在人机交互、视频安全监控、医疗诊断、虚拟现实和视频检索等方面具有广泛的应用前景和潜在的经济价值。视频可以看作是一组具有时序关系的序列,而深度学习的方法在图像分析领域已经取得了巨大的成功,所以对于视频的分析可以转化为对视频的图像序列分析。卷积神经网络是深度学习中最具代表性的模型,尤其是VGG-Net模型,是由规模庞大的图像数据训练得到的,使得VGG-Net模型具有良好的特征提取效果。而且针对特定的任务也可以对经典的卷积神经网络模型进行改进,提高模型的特征提取能力。视频是具有时序信息的信号,在对视频进行分析时时序信息也十分重要。HMM是具有良好的时序建模能力的模型,可以通过对视频的图像特征序列建模,得到包含视频空间信息与时序信息的特征表示。本文的主要工作如下:第一,设计了一个视频分类方案:应用深度学习模型做视频的特征提取,结合时序模型对视频进行建模实现特征表示,最后使用分类器得到分类识别结果的方案。第二,选择CNN模型VGG16做特征提取,并针对特定的数据库,在VGG16模型上做改进,增加一个全连接层,优化提取特征的表达能力。第三,选择HMM时序模型对视频的图像特征序列进行时序建模。创新性的应用HMM的参数作为视频的特征表示加分类器的组合,代替HMM传统的训练识别方法。YouTube、UCF50和HMDB51都是关于人体行为的公共视频数据库,本文提出的方案将会在以上三个数据库上进行实验,验证方案的有效性,同时也会与其它的不同方法进行对比分析。