随着信息技术的进步和网络的发展,恶意软件对信息安全构成的威胁日益严峻。作为信息安全事件最为重要的攻击载体之一,普通的恶意软件很容易在传播过程中检测出来。恶意软件为了躲避检测,凭借多态或变形等手段在传播过程中不断变化,逐渐呈现出数量多、传播迅速、难以检测等特点。传统的恶意软件检测方法主要利用恶意软件的二进制流或是全部反汇编信息来识别恶意软件,这种检测方法针对于干扰过后恶意软件很难达到较好的效果。当前,国内外的研究者提出了许多基于有监督学习的恶意软件检测模型,监督学习模型需要依靠大量的有标记样本,而恶意软件数据集大多呈现出样本少、标记成本高等特点。本文主要对恶意软件的图像化检测方法进行了研究。通过分析传统恶意软件图像化的优缺点,提出了基于操作码序列的图像化改进方案,利用引入了注意力机制的残差神经网络对其分类。同时为了进一步提升恶意软件检测系统的检测效率,本文还设计了恶意软件检测的主动学习方案,最后在此基础上设计了恶意软件检测系统。本文主要的研究方向为对恶意软件图像化方案检测,本文的工作内容主要有以下三个部分:(1)本文提出了一种基于操作码序列的图像化恶意软件检测方案。针对传统恶意软件图像化方案特征提取单一、易受干扰等问题,本文利用操作码的TF-IDF对可执行文件特征图像进行信息增强的恶意软件图像化方案,接着使用引入了注意力机制的残差神经网络对其进行训练和预测。通过对比实验证明了本文提出的检测方法能够有效提高恶意软件检测的准确率、召回率、F1值。(2)针对恶意软件检测成本高以及恶意软件静态检测对训练样本的依赖性等问题,本文在恶意软件图像化检测方法的基础上,提出了一种恶意软件检测模块的主动学习方案。本文在方案中引入了学习损失预测的样本选择策略进一步提高分类器的学习效率。最后通过与传统样本选择策略的对比试验证明了提出方法的可行性与优越性。(3)对恶意软件检测系统的设计与实现。本文将恶意软件图像化检测方案和主动学习方案应用到恶意软件检测系统中,通过对恶意软件的分析设计并实现了恶意软件检测系统,整理归纳了对系统的整体流程和各模块实现细节,并对其进行了功能测试和性能测试。