随着大数据和互联网的快速发展,恶意代码的存在也对网络的安全性造成了严重的威胁。为此,大量的学者从不同的层面展开了对恶意代码检测的研究,包括,物理技术、语义分析和深度学习方法等。然而,面对庞大的恶意代码数据集,不恰当的数据处理方法的使用不仅降低了恶意代码检测的效率,甚至可能导致恶意代码反增长的趋势。因此,针对上述问题,本文旨在对提高恶意代码的检测效果进行探讨,提出了两种不同的深度学习模型,即多目标受限玻尔兹曼机模型和基于空间金字塔池化策略的多目标卷积受限玻尔兹曼机模型。而且,本文从算法的角度提出了一种基于约束分组交叉策略的快速非支配排序遗传算法以对不平衡的恶意代码数据集进行优化处理。本文的主要工作如下介绍:为了降低不平衡数据集对恶意代码检测带来的影响,本文采用智能优化算法NSGA-II对不平衡恶意数据集进行优化处理,并设计了一种新颖的参数优化后的多目标RBM模型。主要思想是通过NSGA-II算法优化获得最优的训练解集,并输入到多目标RBM模型进行训练和测试,以实现恶意代码图像数据集的分类,然后,采用两个目标函数评估不平衡数据集的优化效果及数据分类的性能。本文通过对比不同的深度学习模型、数据集处理方式、图像分辨率进行实验,实验结果表明不平衡数据集的学习能力得到增强并获得了较好的数据分类效果,同时也验证了多目标RBM模型的鲁棒性,为实现恶意代码检测做铺垫。考虑到RBM模型在处理大量图像数据集时的局限性及CNN具有训练速度较快且分类效果较好的优势,因此,为了进一步地提高数据分类的效果以更好的实现恶意代码检测,我们设计了一种基于SPP策略的多目标CRBM模型。该模型主要是在最后一个池化层中引入SPP策略并采用参数优化后的RBM模型用于全连接层以作为生成模型。然后结合三个目标函数对不平衡数据集的优化效果及模型训练实现数据分类的效果进行评估。本节我们仍采用NSGA-II算法对不平衡数据集进行优化处理。与多目标RBM模型相比,多目标CRBM模型在对不平衡数据集的处理和数据分类方面表现出进一步的优势,广泛的实验结果表明了所提出的模型具有较好的性能。由于不平衡数据集的训练在一定程度上约束了恶意代码的检测效果,因此,本文基于NSGA-II算法进行改进,并根据不平衡数据集的特点提出了一种基于约束分组交叉策略的NSGA-II算法以实现对不平衡数据集的优化处理;然后设计了两个目标函数来评估不平衡数据集的优化效果;最后在标准测试集上执行了广泛的对比实验。仿真结果表明CDCS-NSGA-II算法在优化不平衡数据集方面的有效性及可行性,这也为恶意代码检测过程中处理不平衡数据集提供了新思路。