异常检测任务主要致力于在众多正常的数据样本中检测出异常的样本。该任务针对能够获取的数据样本进行建模并且挖掘出偏离正常模式的样本。由于医学影像,工业质检,金融系统,公共安全等广泛领域的需求和应用不断增加,异常检测技术发挥着举足轻重的作用。近年来,随着深度学习的发展,基于神经网络的异常检测方法获得了广泛研究与关注。但是,异常检测任务仍然存在着巨大的挑战。异常检测任务是一个二分类问题,与传统的分类问题相比,其存在正常数据和异常数据数量不均衡,缺陷类别样本搜集不全,存在未知的异常样本等挑战。针对这些挑战,大多数先前方法采用半监督的学习方式只需要对正常类别样本进行建模并且希望学习到的样本分布充分拟合真实数据样本的分布。但是在构造正常样本的隐空间过程中会遇到来自对抗样本攻击的鲁棒性问题,正常与异常样本之间缺乏判别性特征问题,正常样本模式丢失问题和构建隐空间过程中网络训练不稳定性问题。此外,多场景下从真实数据的隐空间中学习到的特征分布存在过拟合问题。本文将聚焦于这些问题提出一系列隐空间优化技术,形成的贡献点可归纳如下:（1）针对异常样本中存在对抗攻击样本问题,本文提出了一种对偶自编码器框架。异常检测器不仅要发现分布外的样本,还需要提供足够抵御对抗性攻击者的防御。本文提出了基于对偶自编码器的对抗网络同时优化图像重建空间和特征隐空间以提高性能。其中,互信息估计器被视为特征空间正则化器。该正则化器对隐空间进行优化,其主要来提取目标类的最独特信息。在分布外样本检测任务中,本文的模型与最先进的半监督异常检测器相比具有明显的优势。在对抗攻击样本检测任务中,为了在更复杂的对抗性攻击场景中进一步评估所提出的方法,本文提出的数据集中分别使用FGSM、BIM和DeepFool对抗攻击方法生成了三个基于停车标志图像的对抗性攻击数据集。与其他方法相比,面对这些更加复杂的对抗攻击样本,本文提出的模型依旧表现出较高的鲁棒性。（2）针对构造隐空间过程中正常样本与异常样本特征判别能力低问题,隐空间模式丢失问题和构造隐空间过程中网络训练不稳定问题,本文提出了三个解决策略。1)针对隐空间特征判别能力低问题,本文提出了一个对比学习网络旨在通过互信息估计“学会比较”进行隐空间优化。在这过程中,直接通过使用数据增强策略构造难负样本,以此帮助生成网络获得更具辨别力的隐空间特征表示。2)针对隐空间模式丢失问题,本文提出了一个使用间接生成过程和最近邻策略的新框架。该框架旨在确保对于每个训练图像都至少存在一个候选生成图像,训练过程中最近邻候选生成图像的分布逼近对应的训练图片的分布,从而避免了训练样本模式丢失问题。3)针对训练不稳定问题,本文提出了一种新颖的解码器-编码器-解码器框架。为了稳定训练,本文采用自编码器来作为鉴别器。与典型的二分类逻辑损失相比,自编码器基于重建的输出提供了更多的梯度信息。丰富的梯度信息促使模型更快地搜索最优梯度方向,获得稳定的训练过程。与最先进的异常检测方法相比,三个解决策略在DCASE数据集上提高了 1.1%AUC指标。（3）针对多场景下从真实数据的隐空间中学习到的特征分布过拟合问题,本文在视频监控场景和工业质检场景中,根据原始数据和网络特性,分别提出了基于多细粒度的隐空间约束。1)针对视频监控场景下,本文提出了一种具有三个一致性约束的新型双向预测网络架构。该框架从三个角度促使学习到的分布逼近真实数据分布,其中包括前后向预测约束,跨模态关联约束和时间序列完整约束。实验表明,本文方法与最先进的异常检测器相比,在UCSD Ped2、CUHK Avenue 和 ShanghaiTech 数据集上分别提高了 1.0%、0.7%和3.3%AUC指标。2)针对工业质检场景下,本文提出了一个基于隐空间特征匹配的知识蒸馏框架。该框架从两个角度促使学生网络学习到的特征分布逼近原始数据在ImageNet数据集隐空间中的特征分布,利用整体特征分布匹配和中间各层特征独立匹配相结合的方式将无缺陷样本在ImageNet数据集的隐空间特征表达充分传递给学生网络的隐空间。在实验部分,本文证明了该框架的有效性,并且表明与MVTecAD异常检测数据集上的最先进方法相比,该框架获得了优越的工业产品异常检测效果。