基于表观运动记忆一致性的视频异常事件检测

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:pipi783
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的蓬勃发展尤其是以深度学习为代表的基础理论与工程实践的突破,智慧城市及安防相关产业也出现了跨越式发展,其中一个重要应用是智能视频监控系统。监控视频中的异常事件检测又是其中一个非常重要但是非常困难的任务,近期已经有非常多的方法被提出来解决这个问题。之前的方法要么只考虑单方面的外观或运动信息,要么仅仅只是在测试阶段直接整合外观和运动信息的决策结果而不考虑这两个模态内在的一致性关联语义。受人类识别异常事件的启发,本文提出了表观运动记忆一致性网络(AMMC-Net),通过显式建模表观-运动双模态信号中的先验信息的一致性语义来检测视频中的异常事件。考虑到原始特征中混杂了表征正常语义的先验信息和每一帧自身的特异性信息,而只有先验信息才存在一致性语义。我们的方法首先提出一个基于离散字典模块增强的视频预测框架来建模正常事件中表观运动两个模态的先验特征,并且保存在各自的内存池中。又考虑到单个内存项不足以表征查询向量的信息,我们采用了多个内存项。其次我们设计了一个双向的映射网络实现两个模态的先验信息之间的相互表达与融合,即建模了两个模态之间的一致性语义,获得了两个模态各自的语义一致性特征。最后考虑到先验特征丢失了原始特征信息,我们分别将两个模态的原始特征、先验特征、语义一致性特征三者结合到一起,获得对正常事件两个模态更本质更强大的特征表达,这可以大大增加异常和正常事件的区分度;在异常检测阶段,考虑到之前方法中只考虑像素空间上的像素预测误差很容易被背景抖动以及噪声影响,我们考虑在特征空间引入语义一致性误差来增强异常检测的性能。具体来说,我们通过一个权重参数线性结合了特征空间的特征语义一致性误差以及像素空间上的像素预测误差并在所有测试帧范围内做归一化来构建最终的评估指标,用以增强检测精度。在模型优化阶段,我们使用两阶段训练策略来优化整个模型,提出了指数滑动平均方法来优化内存池模块。最后在实验阶段我们在多个大型公开基准数据集上执行了大量充分的量化对比实验,验证了本文方法与对比方法的优势,实现当前最好的异常检测性能。最后本文执行了大量的消融实验,通过移除相应模块计算最终的指标分数,可靠的实验结果证明了本文方法各个模块的有效性。
其他文献
多视图数据通常可以由多个不同的特征集来进行描述,相比于单视图数据其包含了更多的判别信息,从而使得多视图特征学习技术在近年来引起了研究者广泛研究。多视图数据通常是高维数据,其不同视图之间的数据存在着互补性与冗余性,如何从多视图数据中学习合适的特征投影将高维的多视图数据映射到低维的数据空间中是降低计算复杂度与资源消耗的首要任务。其次,如何从不同的视图数据之间挖掘出有效的判别信息已成为多视图特征学习技术
随着大量工业自动化制造装备投入生产,电机协同运动的需求快速增长,永磁直线同步电机具有响应速度快、推力密度大和精度高等优点,能够很好地满足高精密加工、定位等协同运动需求。因此,多台永磁直线同步电机的协同运动控制成为研究热点,发展前景广阔。然而,多台永磁直线同步电机协同运动控制存在单台永磁直线同步电机跟踪精度低、多台永磁直线同步电机之间协同精度低的问题,难以满足实际应用要求。为此,论文深入研究了永磁直
缺陷检测是指在产品图像中定位出缺陷的位置以及识别对应位置缺陷的类别。它是产品生产过程中至关重要的流程,有利于把控产品的质量与及时反映生产过程中存在的问题。复杂纹理图像缺陷检测存在背景复杂、背景图案与缺陷特征信息相近、小面积缺陷等问题,是工业视觉检测的一大难题。因此,对复杂纹理图像缺陷检测方法进行研究,具有一定的科研价值和实用价值。针对复杂纹理图像缺陷检测存在的问题,本文基于深度学习技术围绕缺陷检测
随着物联网技术的快速发展,信息传输过程中诸如个人隐私等数据的安全已然受到严峻威胁,有关信息安全问题的研究也逐渐被越来越多的研究人员关注。密码学作为信息安全的基础,可以保障信息传递过程中的保密性、完整性以及抗攻击性等。哈希算法是密码算法的一种,它是单向散列函数,具有不可逆的特性,借由这种特性哈希算法可以应用于数据的完整性校验、唯一标识和数字签名等场景。近些年,伴随着密码学的发展,哈希算法也发展出了多
交通标志检测技术是高级辅助驾驶和自动驾驶的关键技术,也对智能交通系统的运行起着重要作用。自然场景中交通标志检测存在交通标志目标较小、外界环境复杂多变、干扰因素多等问题;此外,为了保障驾驶出行安全,需要交通标志检测速度快,满足实时行检测的要求。现有解决方法中基于Faster R-CNN等算法检测交通标志时速度慢,基于SSD、YOLO等算法检测交通标志时均值平均精度低。本文针对上述问题提出了基于改进Y
如今,对于全球各国而言,能源短缺均成为亟待解决的难题,严重阻碍了国家整体的发展。而太阳能,作为一种新兴能源,若能够对其实现充分的运用,能够使能源短缺的情况得到一定的缓解,且能够有效减少对环境造成的污染,因此在后续研发方面有着较为广阔的前景。但如何提高太阳能采集效率成为当下热门研究课题。因此研究一种高精度的太阳能追踪控制系统具有重大研究意义。本文主要对太阳能电池板当前在采光率、自动化等方面存在的问题
现如今,伴随计算机科学理论研究和高新技术的飞速发展,以及现实应用需求的增加,算法的性能要求也随之水涨船高。在无监督机器学习领域中,子空间学习方法因其高效性和高可解释性的特点而被广泛运用。国内外学者对无监督子空间学习方法做了许多研究。包括线性子空间学习方法、流形子空间学习方法和低秩子空间学习方法等。其中,低秩子空间学习方法通过引入低秩约束,可以较为完整地保留原始空间中数据点之间的全局结构信息。本文主
随着信息技术持续不断的发展,网络中涌现了大量的多媒体数据,如视频、图片、文本等。面对如此多的数据,用户对检索的需求也发生了改变,人们不再满足单一模态数据的检索,如以文搜文,而更期待不同模态数据间的检索,即跨模态检索。目前,在大数据的背景下实现跨模态检索主要面临的主要问题为:如何关联不同模态的数据以及如何提高检索的效率。经过多年的探索,研究专家提出了基于哈希的跨模特检索方法。这类方法是通过将原始数据
目前大部分学生对人格缺陷这种病态认知不足,发现不及时且治疗意愿低,而缺陷型人格甚至会导致学生出现边缘性心理以及反社会心理,因此及时感知学生的人格是否健康至关重要。高校学生在线生成的数据量急剧增长,这些数据为我们跟踪、分析和预测学生人格提供了前所未有的机会。特别是最近数据挖掘技术的进步,不只从数据上为我们提供了有力支撑,也提供了更科学的分析方法。当前已有许多研究人员进行了人格的相关研究,这些研究可大
无线局域网(Wireless Local Area Network)技术伴随着通信技术的快速发展应用越来越广泛,设备越来越智能,新一代无线局域网标准在2019年启动认证计划。新标准增加OFDMA和MU-MIMO等关键技术,在有限的频带内实现更快的信息吞吐速度和更大用户容量,同时采用复杂的调制技术(1024QAM)来实现较高的频谱利用率和更低网络延迟,但是会使调制信号具有更高的峰均比。高峰均比的信号