随着深度学习在图像分类上取得的显著成果,许多学者也将深度学习用于视频分类。由于行为识别在人机智能交互、自动检索、视频监控、自动标注、医疗诊断等等领域已被广泛应用,这一技术的重大研究意义与广阔发展前景使其成为计算机视觉的研究热点。卷积神经网络(CNN)作为深度学习的代表性方法,近年来已被广泛应用于行为识别领域中。针对行为识别任务,目前主要有两大主流方法:3D卷积神经网络和双流卷积神经网络算法。本文分别训练了空间流和时间流,实现了双流3D卷积融合神经网络算法,实验结果证明了双流3D卷积融合神经网络算法的有效性。基于相关熵对脉冲噪声和异常样本具有鲁棒性的特点,代替softmax损失函数,本文将相关熵与双流3D卷积融合神经网络相结合,并提出了基于箕舌线损失函数的双流CNN微调算法。实验结果证明了基于箕舌线损失函数的双流CNN微调算法在行为数据集上的有效性和在脉冲噪声下的鲁棒性。由于动作间的相似性大,本文在双流CNN损失函数上添加费舍判别准则,这样使得双流网络提取的特征具有较小的类内散度和较大的类间散度的性质。本文对费舍判别正则化项的参数采用一种可学习的更新方式,这种方式类似于随机梯度下降算法,更适用于网络的训练。实验结果证明了基于费舍判别准则的双流CNN微调算法的有效性。为了使分类器输出更接近于期望输出,本文提出基于LMNN(Large margin nearest neighbor)约束的双流CNN微调算法,以达到最大化真类别的输出预测值,增大真类别与假类别预测值间的差距的目的。实验结果证明了基于LMNN约束的双流CNN微调算法的有效性。