随着网络在人类社会各个领域的普及,作为一种传递各种重要信息的媒介,网络失泄密事件时有发生。攻击者通常使用木马窃取敏感信息,并且在各种入侵检测技术进步的同时,木马的反检测技术也在不断发展,尤其是加密技术和隧道技术的运用,使得木马通信具备高隐蔽性,更难被检测到。针对木马隐蔽通信的检测技术成为研究热点,但传统的基于载荷签名的方法无法检测未知木马,基于浅层机器学习的方法对木马特征的刻画能力不足,目前少有将通信特征与深度学习方法相结合的木马隐蔽通信检测研究。因此,本文从网络通信入手,研究了木马加密通信行为以及隧道通信机制。发现木马即便通信加密,其在通信行为方面仍然存在独特性,但各种特征的可区分度有所不同,因此提出一种基于神经网络权重大小的特征选择方法,并建立多层神经网络模型,对加密木马通信进行检测。针对木马隧道通信,发现其流量载荷方面具有可区分特征,提出运用卷积神经网络对流量载荷特征进行学习识别。通过实验分析,验证了两种方法的有效性,据此设计实现了木马检测系统,具备对多种木马隐蔽通信的检测能力。本文完成的工作如下:首先,分析了木马检测的研究现状。针对传统基于载荷签名以及浅层机器学习的方法,对木马隐蔽通信检测范围受限的问题。重点剖析了木马的通信过程,以及HTTP隧道木马、DNS隧道木马、流量加密木马的通信机制。总结了木马通信行为特征,发现了隧道木马传输层载荷中具备可区分特征。其次,针对以往特征选择方法效果不够好的问题,提出了使用神经网络权重对特征进行筛选的方法,该方法能够准确选择特征。在此基础上,提出了一个用于木马加密通信检测的多层神经网络模型,该模型能够很好地提升对木马加密通信行为模式的学习能力,能够有效检测加密通信木马。然后,提出了基于卷积神经网络模型的木马隧道通信检测方法。通过研究发现,现有的针对木马通信内容的检测方法,如深度包检测,无法检测出新出现的木马,无法对多种协议隧道木马进行检测。但由于传输层载荷通常包含丰富的应用层协议信息以及内容信息,载荷字节对应于图片像素,可将载荷转换为图片,运用在图像识别领域取得显著成效的卷积神经网络,能准确识别多种协议隧道木马通信流量。最后,设计实现了木马隐蔽通信检测系统,并对系统性能进行了测试。将系统应用于实验室网络采集的流量数据集,测试结果表明,该系统能够有效检测出木马通信流量,与现有检测方法相比,降低了检测误报率,并对HTTP隧道木马、DNS隧道木马以及流量加密木马具有较好的检测能力。