深度学习在语言翻译,图片识别等领域大力发展,已经在生活中获得大量应用,如机器翻译、人脸识别等。随着5G时代的到来,网速对人的限制越来越小,以及人们产生和发布视频资源的便捷性,都促使视频资源在网络中海量增长。如何利用深度学习算法学习视频信息表达方式和进行网络短视频多模态搜索一直是业界关注的研究领域。与手工制作的动作特征不同,深度学习方法在主动学习图像特征方面表现良好,这为人类动作识别技术提供了一个新的视角和处理方法。本文使用RGB序列和光流序列作为网络模型的输入,RGB序列和光流序列常作为深度学习处理运动识别问题的输入信息。使用3D网络学习视频的帧间信息,从输入进入网络开始分别对图片和光流信息进行融合,用于更好的表述动作这个连续时空的概念。在本文模型分析与训练过程中主要工作如下:首先本文使用13320个视频的UCF-101数据集进行训练,在训练前需要进行视频预处理工作,提前进行拆帧和光流计算,得到44GB共370万张RGB和光流图片,方便后面模型训练;按照UCF-101数据集的split-1方法进行训练集拆分,通过参数调整训练模型达到93.47%准确率。本文通过训练双流膨胀3D卷积网络（I3D）模型来完成视频动作识别的任务。在得到表现良好的视频动作识别模型后,本文使用python语言的Django模块制作了网页的系统界面。使用测试集数据模拟用户的视频数据,使用动作识别网络和目标检测网络对数据进行自动标注,最后添加进My SQL数据库。本系统实现了多模态的端到端的短视频检索。主要包含实现:1)通过一段短视频实现对同类短视频的检索功能;2)通过一段文字或关键字描述实现短视频的检索功能,视频的文字标注由目标检测结果和运动识别结果组合构成;3)在系统中可以收集识别错误视频,用于未来优化模型结构和提高模型精度。