信息化技术的普及与移动互联的迅速崛起,带来了前所未有的“大数据”时代。数据量的飞速爆炸,使得利用及研究数据面临重大挑战,怎样在海量数据中,钻取、挖掘、进而获取数据带来的价值变得尤为关键。在近几年的大数据技术中,以MapReduce编程模型为核心框架的诸多大数据系统,充分利用并行计算优势,实现了高效的海量数据处理,因此得到了广泛的应用。SQL-on-Hadoop系统作为大数据时代重要的工具,不仅拥有SQL简单易用的特性,同时具备了 Hadoop系统的优点,能够处理海量数据,挖掘大数据中潜在的价值。Spark SQL作为最具代表性的SQL-on-Hadoop系统,但其在面对海量数据(TB)的查询时,依然无法在短时间内得到查询结果,查询的延时会大大降低用户的使用体验。因此,如何提高Spark SQL系统的查询效率成为了研究热点。本文针对当前Spark SQL系统的不足,提出了一套通用的SQL-on-Hadoop系统查询的优化方案,并对该方案进行了系统实现。首先,通过对查询场景的分析,本文将原始数据重写为列式存储格式Parquet来更好的处理分析型查询事务;其次,在Parquet的元数据生成阶段,本文加入了布隆过滤器和直方图两种数据结构;第三,在谓词下推阶段,本文通过访问布隆过滤器和直方图来提升无效数据过滤的效率;最后,针对查询中经常存在的LIMIT语句,本文在Spark任务执行阶段通过排序的方式实现了提前退出,从而减少不必要的执行时间。本文的优化方案从底层格式存储入手,重点加强无效数据过滤(Data Skipping)的效率,系统的,逐级并且有效的提升了 Spark SQL系统的查询效率。本文首先根据当前Spark SQL系统的不足对查询优化的主要工作内容进行了分析;其次对Spark SQL系统查询的优化进行了研究并进行了详细设计,明确了系统的功能模块划分以及各模块需要实现的功能;最后,本文对所提出的方案进行了测试实验,验证了优化方案的完整性及有效性。