异常检测在现代大型分布式系统的管理中作用显著,记录系统运行时信息的日志被广泛用于异常检测中。然而在实际大规模的软件开发生产中,密集的日志输出会产生大量对异常检测无用的冗余日志,不利于从中挖掘有用信息,并且随着如今系统规模越来越庞大,日志记录的开销问题不容忽视。目前解决大规模日志开销相关问题的方法效率低下,有效性差。本文针对该问题提出一种对日志记录开销进行优化的方法,利用设计的基于深度学习的异常检测模型以及两阶段过滤机制,在系统运行过程中根据日志对异常检测的有用度来决定是否被输出,能够在保证日志有效性的同时缓解日志记录的资源开销问题。论文主要的工作和贡献包括:（1）在分析具体实现的六种基于经典机器学习异常检测模型的实验评估基础上,为进一步提升系统性能,设计并实现了基于深度学习的异常检测模型。使用LSTM构建深度神经网络,通过循环神经网络根据最近出现的日志事件类型对下一个事件类型做出预测,以用于在线地对流式系统日志进行异常检测,并且为适应因系统变化而产生的新日志模式,设计了在线增量更新模型策略以提高模型性能。实验结果表明,基于深度学习的异常检测模型整体性能良好且在线更新策略有效。（2）基于目前系统软件开发中日志实践经验分析,针对大规模分布式系统中日志输出带来的资源开销问题,本文提出了基于异常检测模型的日志开销优化方法,并实现了其原型系统Opt Log,主要包括三大功能模块:日志解析模块、异常检测模型构建模块、两阶段过滤机制模块。日志解析模块实现在线将自由文本格式的日志解析为结构化日志数据的功能,以便后续分析处理;异常检测模型构建模块实现特征提取、模型训练、计算有用度分值功能;两阶段过滤机制模块设计了本地过滤、全局过滤和动态阈值调整算法,实现将日志按照有用程度进行有选择性保存功能以达到日志开销优化目的。（3）在详尽完整的实验评估基础上分析日志开销优化系统的性能,实验结果表明:基于树结构的日志解析方法效率高且性能稳定,能够用于在线处理实时流式日志数据;基于深度学习的异常检测模型效果良好,并且能够显著提升整体日志开销优化系统的性能,在保证日志效用的同时日志吞吐量平均降低了90%;总体上,基于异常检测模型的日志开销优化系统Opt Log能够在保证日志效用的同时有效降低日志记录带来的资源开销代价。