当今计算机软件面临的安全防护挑战主要集中在内存相关的溢出攻击上,为了绕过“数据段不可执行”等经典防御机制,入侵者往往会选择代码复用的方式实现攻击意图。面向返回编程(Return Oriented Programming,ROP)就是一种允许入侵者劫持程序控制流并执行任意恶意行为的代码复用技术。ROP攻击旨在通过链接以返回指令结尾的短指令序列构建恶意代码,进而威胁用户空间甚至内核空间中的应用模块。目前针对ROP攻击的检测方法多属单机下的防护,检测系统自身存在一定安全隐患,而虚拟机自省技术允许检测系统在强隔离的虚拟机管理层对客户虚拟机用户进程实现透明监控,极大地提升了检测过程的健壮性。本文通过还原ROP攻击细节,对其核心gadget链特征进行分析,提出了基于硬件辅助的ROP攻击多层检测方法。该方法实时监控虚拟机用户进程的指令执行过程,通过最后分支记录器(Last Branch Record,LBR)中的分支记录对返回分支进行合法性校验,同时通过gadget链长阈值判定来检测ROP攻击是否存在。针对能够绕过链长阈值判定的long gadget,则进一步由硬件性能计数器(Hardware Performance Counter,HPC)中的分支指令数、误测分支指令数匹配,以及gadget指令数阈值判定来对ROP攻击予以识别。在上述算法基础上,以KVM虚拟化框架为背景,实现了基于虚拟机自省的ROP攻击检测原型系统VMIROP。主要结合KVM内核模块功能,捕获客户虚拟机内用户空间的系统调用,并通过维护CR3寄存器查找表还原虚拟机中的进程切换。在识别目标用户进程的前提下,由perf内核模块获取底层硬件信息,最终执行基于硬件辅助的ROP检测逻辑。经过实际攻防实验,原型系统在构造样本上的检出率达到了90%以上,能够有效识别由CVE-2017-9430等内存溢出漏洞引起的ROP攻击。同时,虚拟机处理器平均性能损耗为6.4%。