在数据量以指数增长的互联网时代,如何处理上百GB甚至TB、PB级别的数据量,已经成为人们日益迫切的需求。近年来,随着分布式计算框架的普及和发展,Spark作为新一代的大数据处理框架,通过其简单易用的API,一站式的批处理、流处理、图计算、机器学习,大大简化了大数据相关领域的分布式编程。针对Spark Shuffle当中的数据传输模式存在的问题,设计并实现了一种push/push数据流动模式,将ShuffleMapTask的数据直接推送到下一个阶段的Stage当中,解决了原有的Shuffle之间数据流动push/pull模式导致的Stage必须等待上一个stage完成之后才能开始获取数据的问题,加快Spark任务执行速度。另外,虽然Spark号称是基于内存进行计算,但是Spark Shuffle过程中ShuffleMapTask仍然存在着写硬盘的过程,尤其是使用Hash Shuffle的时候存在着大量的小文件,以及大量的磁盘随机读写过程。虽然后期Spark使用了Sort Shuffle,但是仍然需要写磁盘的问题。使用Alluxio来接管spark的所有硬盘读写过程,将Spark的所有内存以及硬盘的数据存储到Alluxio中来解决Spark的硬盘读写问题。同时使用Alluxio高效的分布式内存管理机制来减少Spark运行时内存溢出的风险。实验以通用的X86-64多核服务器为测试平台,以不同的日志分析算法以及标准测试算法作为输入,对改进后的Spark的性能进行验证和分析。实验结果表明优化的Spark拥有比原生的Spark更好的执行效率。