随着互联网的不断发展,计算机设备逐渐渗透到人们生活的方方面面。与此同时,针对计算机设备的网络攻击正在给个人、企业和社会带来巨大的危害。因此,构建一个主机入侵检测系统至关重要。最近基于溯源图的主机入侵检测方法逐渐成为主流,其通过建模主机中系统实体（例如进程、文件等）之间的交互检测入侵,取得了许多进展,但仍存在检测准确率低的问题。检测率低的原因在于现有研究大多基于专家经验来检测溯源图上的异常,但这无法捕获到溯源图上系统实体间的非线性以及潜在的层级交互。本文根据主机入侵检测系统的两个检测目标,分别设计了两种新的检测算法用于提高检测准确率,并设计与实现了主机入侵检测系统。本文的主要内容如下:（1）针对常见的恶意程序攻击,主机入侵检测系统的目标为恶意进程。本文通过对正常进程与异常进程的对比分析,提出一种基于异质图自编码器的异常进程检测模型HetGraphAE,该检测模型基于异质图建模将异常进程检测问题转化为异常节点检测问题,并通过联合异质图神经网络与深度自编码器实现了高精确率的异常进程检测。（2）针对最近涌现的先进持续性威胁,主机入侵检测系统的目标为恶意溯源图。本文经过对主机行为的分析,提出一种基于单类异质图神经网络的异常溯源图检测模型OC-DHetGNN,该检测模型基于异质图建模将异常溯源图检测问题转化为异常异质图检测问题,并通过联合单类神经网络与异质图神经网络,从综合异质图的全局以及局部视角实现了高准确率的异常溯源图检测。（3）设计并实现主机入侵检测系统,该系统的内核为本文所提的两个检测模型,能够进行异常进程以及异常溯源图的检测。本文先后对系统进行了需求分析和系统设计（包括概要设计和详细设计）,最后通过黑盒测试验证了系统功能的完整性。