基于超文本传输协议(HTTP)的入侵一直是网络安全的主要问题,对HTTP的入侵检测技术也从基于规则的方法演进为基于机器学习的方法。基于规则的入侵检测方法由于开发成本较高且维护过程复杂,有逐渐被基于机器学习的检测方法取代的趋势。近年来,使用深度学习检测网络流量非常受欢迎,可以有效检测入侵攻击行为。但是,基于深度学习的入侵检测技术面临着攻击数据与正常数据分布严重不平衡的挑战。因此,本文以解决上述挑战为目标,从特征提取和损失函数两个角度研究数据分布不平衡对流量检测的影响。主要研究内容如下:(1)基于HTTP流量请求信息中的URL字段和POST字段信息,提出了字符级抽象流量特征提取方法。该方法首先用Spark将HTTP流量处理为字符特征,然后用去标签的字符特征训练卷积自编码器,提取出决策边界更清晰的字符级抽象HTTP流量特征。实验表明,该方法处理效率较高,且提取的特征在流量检测算法中更有效。(2)由于交叉熵损失函数在不平衡流量检测中容易忽略攻击样本,本文提出了 HM-loss损失函数。本文为该损失函数设计了权重衰减因子,当分类算法预测多数类时,权重衰减因子可以动态的调整正常流量样本对损失函数的贡献;当预测少数类时,保持样本对损失函数的贡献不变。实验表明,结合字符级抽象流量特征,该方法较其他方法更有效。(3)设计并实现了基于Spark的HTTP流量检测系统。该系统在无需人工干预下,实现了端到端的自动化流量检测。检测系统具有流量采集、流量解析、特征提取、检测识别和自动化存储的功能。系统应用了上述特征提取方法和损失函数,日均检测数据量2.5T。