互联网与计算机已经成为当前人们工作和生活中不可或缺的一部分，但是，在人们享受信息技术带来的便利的同时，也不得不承受计算机病毒、蠕虫等恶意代码对信息安全和个人隐私带来的破坏和威胁，使得安全研究人员不得不采用各种检测分析技术进行应对。但是，随着恶意代码的种类和数量越来越多、增长越来越迅猛，同时恶意代码也经常利用各种迷惑混淆、变形多态等自保护技术来对抗安全软件，增强自我生存能力，使得对恶意代码的检测分析更加困难。因此，研究能够有效应对各种迷惑混淆技术的恶意代码检测分析技术，快速准确地获取恶意行为信息，识别恶意代码及其变种，对于维护信息安全，减少恶意代码带来的损失，有着非常重要的意义。为了在恶意代码检测分析过程中，更准确的描述恶意行为的本质属性和特征，减少路径状态空间爆炸及各种迷惑混淆技术对恶意行为信息获取和分析过程的干扰和影响，本文对恶意代码的行为特征模型及其自动化提取方法、反迷惑混淆的控制流分析和敏感函数识别方法、以敏感行为为目标进行控制引导的敏感路径搜索分析方法等进行了研究，设计了基于行为控制的恶意代码检测分析系统。　　本研究主要内容包括：⑴海量恶意代码及其变种的不断涌现，给恶意行为特征的表示带来了更大的困难和挑战。为准确描述恶意代码的功能或行为本质，提高恶意代码检测分析的准确性，提出了基于行为语义和结构特征的多维行为模型。该模型从反映时序关系的系统调用序列图子特征、反映控制依赖和数据依赖关系的系统调用依赖图子特征，和反映程序结构的函数调用图子特征这三个特征维度，对恶意代码家族特征进行归纳、分析和描述。在此过程中，研究了基于加权最小公共超图的多维行为特征自动化提取方法、特征图匹配的相似度计算算法，以及各子特征分类器的输出结果判定方法等。⑵为消除恶意代码变种使用的代码混淆等技术带来的干扰，获取准确完整的反汇编代码和控制流信息，提出了反代码迷惑的控制流分析与修正方法。该方法使用设计的静态控制流图解析构造算法生成包含异常节点的控制流图和反汇编代码等信息；针对反逆向分析的主要代码混淆和控制流迷惑技术的应用规律和特点，设计路径前缀片段集合构造算法生成含异常节点的路径前缀片段，生成约束条件并求解获取输入测试用例；依据实际执行的路径及指令信息，采用设计的控制流修正与代码混淆识别算法，对反汇编代码与控制流图进行修正和完善，应对跳转地址间接化、垃圾指令插入、基于过程异常返回的隐式跳转混淆等迷惑变换技术，有效提高了控制流分析结果的准确性和完整性。⑶为快速准确获取程序的关键行为信息，解决多路径分析中存在的路径状态空间爆炸问题，缩小路径分析的范围，提出了基于动态符号执行的敏感路径搜索分析方法。该方法通过对当前常用多路径搜索策略的综合分析，制定敏感路径搜索分析策略，设计并使用敏感路径搜索算法和敏感路径逼近等算法，生成最可能包含恶意代码关键行为的敏感路径，控制引导整个过程沿着恶意行为最可能存在的敏感路径进行直接覆盖和逼近搜索分析，快速获取关键的执行行为和路径信息，同时对反汇编和控制流信息进行反馈修正，从而避免多路径测试选择的盲目性，提高多路径分析的准确性和效率。⑷为消除函数调用迷惑带来的干扰，提高实现恶意代码关键功能的敏感函数识别的准确性，提出了反函数调用迷惑的敏感函数识别方法。该方法面向 PE格式的二进制可执行恶意代码，研究了适用于普通程序的通用静态库和动态库函数识别技术；根据恶意代码常用的函数调用迷惑技术的特点，设计实现了应对地址硬编码混淆、函数分割混淆、同名函数混淆、数组方式混淆、函数代码替换混淆等混淆方式的敏感函数识别框架和算法，实验证明了该方法的可行性和有效性。⑸基于论文的研究成果，设计并实现了基于行为控制的恶意代码检测分析系统。系统采用基于行为语义和结构特征的多维行为模型，通过反函数调用迷惑的敏感函数识别技术进行关键系统调用的识别，通过反代码迷惑的控制流分析技术获取更加完整和准确的反汇编和控制流图等信息，使用敏感路径搜索分析技术进行控制引导，完成目标程序关键行为路径的快速覆盖和逼近分析，获取目标代码的敏感行为信息；在此基础上，使用恶意程序和正常程序样本集，基于各子特征分类器的输出结果，对设计的BP神经网络模型进行集成学习和训练，构建集成决策分类器进行恶意代码种类和家族的判定。实验证明了该系统和方法的合理性和有效性，为应对混淆迷惑变换，提高恶意代码判定的准确性和效率提供了理论和应用支撑。