随着大数据时代的来临,互联网网络规模的日益扩大和承载业务种类的逐渐繁多,网络流量呈现惊人的快速增长。如何有效地对网络应用流量类型进行快速且准确的识别分类,成为一个亟待解决的研究问题。同时,传统的离线分析方式大多在计算资源有限的单机环境下进行,导致分析效率低,不足以做到实时的网络应用流量识别分类。本文基于当今主流的大数据分析平台Spark,结合其核心子框架下的流处理框架Spark Streaming、支持分布式和高吞吐量的消息系统Kafka以及可扩展的机器学习算法库MLlib,提出能够在大规模网络流量背景下实现在线识别网络应用流量的方法,进而设计与实现基于Spark流处理的实时网络应用业务流量识别系统。基于Spark流处理的实时网络应用业务流量识别系统,是以机器学习算法为基础对网络中的应用流量进行识别。由于互联网中的应用流量天然地呈现出非均衡的特性,因此在对应用流量进行分类时,将出现不平衡数据分类问题。针对该问题,本文分别从数据层面和算法层面提出了解决方法:在数据层面,本文首先分析SMOTE算法的不足,由于没有考虑少数类数据的实际的分布特性和少数类数据周围多数类的分布情况,从而造成生成的新数据质量下降。针对SMOTE算法的盲目性进行改进的NF-SMOTE算法,充分考虑了数据分布的特性,实验结果表明,NF-SMOTE算法可以合理的生成少数类型样本,提高分类器的分类精度。在算法层面,以集成学习思想为核心,提出基于应用业务类型的集成方法。该方法以应用为前提,对单个少数类型应用单独训练分类器,并结合传统分类算法,构建一个组合分类器。实验结果表明,该方法能够显著提升少数类型应用的分类精度。