虚拟化技术是云计算实现的关键技术，虚拟化技术能够将计算机底层的物理资源切分成多个或者合并成一个运行环境，实现IT资源的逻辑抽象和统一。虚拟化环境面临着许多安全问题，如虚拟机之间的通信安全、虚拟机逃逸、恶意软件（Malware）等。入侵检测是保护虚拟化环境安全的有效方法之一，而根据虚拟化环境的特点，采用虚拟机自省（Virtual Machine Introspection, VMI）技术实现入侵检测有诸多优点。因此，对虚拟化环境下的安全性以及如何采用VMI技术实现入侵检测的研究对虚拟化和云计算的发展有重要的价值和意义。本文首先介绍了虚拟化的相关内容，详细介绍了虚拟化的分类和当前主流的虚拟化技术。之后本文研究了虚拟机自省技术，对其实现方式和难点进行分析。继而简要介绍了入侵检测技术。对虚拟化环境下存在的安全威胁进行了详细的分析，总结了针对这些威胁可以采取的应对方式。本文对开源虚拟机自省工具LibVMI和内存取证分析工具Volatility以及kpartx工具的使用进行研究，对一些主要来自rootkit和木马的入侵行为和入侵痕迹的成因、危害与检测方法进行了探讨。在此基础上，本文设计并实现了基于VMI的入侵检测系统，系统主要包括基于虚拟机内存和基于虚拟机文件系统的两大检测模块，通过使用虚拟机自省技术从虚拟机外部获取虚拟机内部信息并进行检测，发现存在的入侵行为和入侵痕迹后根据严重程度采取不同的响应方式，包括日志记录，邮件告警和暂停虚拟机。本文最后搭建了Xen虚拟化环境，在其上建立多台测试虚拟机，并在此环境下对系统进行部署和测试，实验结果表明系统的各个检测功能模块能正常工作，能实现对入侵的检测，且响应功能正常，达到了系统最初的设计目标。