论文部分内容阅读
近年来,随着我国平安城市建设的持续推进和移动互联网产业的蓬勃发展,视频数据的规模得到了快速的增长。以视频数据为对象的处理研究工作将面临着巨大挑战。此外,随着深度学习的不断发展,深度神经网络在视频数据领域中正发挥着重要的作用,且得到了广泛应用,例如:监控视频识别,行人重识别以及自动驾驶等等。然而,最近的研究表明,在计算机视觉领域,深度神经网络易受到经过设计的对抗样本的攻击,从而做出错误的预测。对抗样本指的是在原始图像或视频数据上增加人肉眼难以分辨的扰动噪声。对抗样本的存在成为了在实际应用中部署深度学习的主要风险之一。同时,针对对抗样本生成的研究可以帮助我们理解深度学习内部的工作机制,以此来进一步提高深度神经网络的鲁棒性。我们研究了黑盒条件下针对视频识别模型的对抗样本生成方法,黑盒条件指的是我们只可以获取模型的预测结果,不可以获取模型的其他信息。与在图像上的黑盒攻击相比较,由于视频的维度要高于图像,对视频数据进行攻击更具有挑战性。为此,我们提出了针对视频识别模型的基于启发式的黑盒攻击方法,该方法只在选定的视频帧和区域上增加扰动噪声。具体来说,我们提出的启发式算法可以衡量视频中每个帧在生成对抗样本任务中的重要性,并根据每个帧的重要性选择视频帧的子集,该子集可以在保证具有扰动性的同时在给定范围内生成具有强大对抗攻击能力的对抗样本。此外,为了进一步提高攻击效率,我们仅在所选视频帧子集上的前景部分内增加扰动噪声。通过这样的方法,我们可以获取在时间和空间上都稀疏的对抗扰动噪声。在UCF-101和HMDB-51数据集上攻击两种主流的视频识别模型的实验结果表明,所提出的启发式黑盒攻击方法可以显著降低计算成本,使非目标攻击的查询数目降低了28%以上。