大数据的发展直接推动了各种分布式存储框架的发展,HDFS、HBASE、MemSql等优秀的分布式存储框架相继出现。但是众多的存储框架与Spark结合都存在数据分区不合理导致集群负载不均衡的现象,降低了数据分析的响应速度。MemSql以Hash方式进行存储,以分区作为最小的存储单元块。Spark-MemSql框架有两种应用场景:独立框架和集成框架。在独立框架下,采用异地读取数据分析的方式,默认主键作为分区key或者随机选取分区key,可能存在大量Hash冲突或者起不到索引的作用,降低了Spark批量查询MemSql的速度。为此,本文提出一种分区key选择策略KSAWA(Key Selection based on Attribute Weight Analysis)来加快Spark的访问速度。在集成框架下,采用本地读取数据分析的方式,给每个节点分布相同的分区数,由于节点资源异构性,可能降低系统资源的利用率及应用分析的并行度。为此,本文提出一种基于节点负载的数据动态分区机制和策略来改善系统负载均衡性及提高应用的响应速度。论文的主要内容如下:(1)针对独立框架应用场景,提出分区key选择策略KSAWA。该策略基于多候选键,考虑了倾斜度、不同查询模式权重、查询频率等因素,根据用户的查询应用需求来选择分区key,能够降低Hash冲突引发的倾斜度,并充分利用索引的作用,来加快Spark访问MemSql的速度。(2)针对集成框架应用场景,提出基于节点负载的数据动态分区机制和策略。基于节点负载的数据动态分区机制包括负载监测采集、预测、数据预分区、数据迁移等模块;基于节点负载的数据分区策略采用二次平滑法预测节点负载,结合了AHP和熵值指标权重法,能够根据不同的数据分析应用得到相应的分区策略,动态地调整系统的负载均衡性,提高应用的响应速度。(3)基于上述研究成果,设计并实现一个Spark-MemSql数据分析平台的原型系统,基于不同数据集,开发应用对该原型系统进行测试验证,表明了不同数据分析应用场景下的分区策略能够改善系统的负载均衡性、提高应用的响应速度。