论文部分内容阅读
大数据计算应用具有软件栈系统多样和复杂（例如Hadoop，Spark，Storm等）、负载行为多样和配置参数繁多等特点，这些特点决定了大数据计算负载的调优具有以下挑战:1)性能瓶颈和优化方案各异;2）难于定位性能瓶颈;3）难于在短时间内实现优化。由于这些挑战，传统的单机面向应用的性能分析工具在面对大数据应用时都难以快速定位性能瓶颈;与此同时，以往的大数据性能优化工作要么与大数据系统紧耦合，要么无法做到全栈式的性能数据分析。本文主要研究全栈式通用大数据系统的性能分析工具，主要贡献如下: (1)提出了在时间和空间维度上对复杂分布式系统不同层次（体系结构、OS和应用）性能数据进行关联和特征向量化的方法。在此基础上量化定义了慢任务、慢节点、负载不均衡等性能瓶颈判断标准和配置不当、数据倾斜、异常节点和资源干扰的诊断规则。 (2)提出了两种用于大数据应用异常检测的方法:1）在时间维度关联分析基础上的基于多维指标的异常阶段检测方法，该方法通过对大数据应用的各类执行阶段进行正常特征模式建模，然后结合离群点检测来判断是否存在异常阶段;2）在空间维度关联分析基础上的基于阶段的异常节点检测方法，该方法会根据应用不同的执行阶段有针对性地采集性能数据，然后利用节点相似度算法来判断是否存在异常节点。 (3)针对大数据分析应用的特征，设计并实现了具有解耦性、分布式、全栈式特点的大数据性能分析工具的架构，该架构具有充分的解耦性，适用于不同的大数据系统（同时支持Hadoop和Spark系统），通过完全分布式处理的方法解决扩展性问题，通过体系结构、OS、应用层监控实现对于大数据分析系统的全栈式分析。 (4)基于典型的大数据系统和负载场景，对大数据性能分析工具进行了详细的评测。在系统开销方面，该性能分析工具的运行时开销不超过5％;针对典型应用场景进行了分析验证，验证了慢节点检测、异常节点检测等方法的适用性和准确度，实验表明文中设计的性能分析工具能够有效识别性能瓶颈和定位瓶颈原因。