随着互联网技术的飞速发展与广泛应用,人们进入了大数据时代,对大数据处理分析日益增长的需求促进了相关技术的发展。Google提出的MapReduce编程模型是现代流行的并行计算框架,其开源实现Hadoop在大数据领域得到广泛研究和应用;Spark是Hadoop之后发展而来的快速且高效的MapReduce实现,逐渐成为主流的一站式大数据处理平台。聚合和连接查询是数据库查询中重要且常见的操作,而MapReduce框架结构原因不能很好地支持连接操作。现存MapReduce框架下的许多聚合和连接算法没有很好地处理数据倾斜问题,而现实生活中数据分布往往是不均匀的,倾斜数据会造成MapReduce任务负载差别巨大,严重降低系统资源利用效率。首先简要介绍Spark平台上聚合和连接查询的常用算法,并分析了数据倾斜问题的起因与影响。然后针对聚合查询的数据倾斜问题,提出了倾斜自适应分区算法,该算法是基于简单值域分区算法的改进,思想是通过采样获取数据分布,计算簇的网络和磁盘I/O代价,再根据I/O代价分别处理大簇和小簇,其中大簇单独分区,小簇组合划分的方式,提高分区的负载均衡度。接下来针对二元连接运算的数据倾斜问题,提出了倾斜自适应连接算法,该算法基于抽样和分割组合的思想,先采样获取数据分布,并计算各簇的I/O代价,再对大簇按照I/O代价分割以及复制的方式划分到剩余空间最小且能容纳它们的分区,小簇组合划分到剩余可用分区,通过改进数据分区的方式,提高连接运算的执行效率。最后针对两种分案进行多组对比实验,证明提出的算法在处理倾斜数据时有更好的负载与性能。