论文部分内容阅读
随着云计算的发展以及大数据时代的到来,越来越多的数据分析和数据挖掘任务需要借助云计算技术来处理,这就带来了云计算平台的飞速发展,其中以基于MapReduce的Hadoop云计算平台发展最为迅猛。越来越多的学者也开始关注云平台的研究,当前的研究主要集中在三方面,负载均衡、系统的平均响应时间的优化以及固定云资源下用户的请求选择。虽然基于MapReduce的Hadoop的云平台有许多优势,但是还是在很多具体问题上需要进行更好的研究和优化,尤其是在流水线任务并行处理、任务调度和资源池方面经常需要具体问题具体分析。因此,本文研究工作建立在对云计算平台、虚拟化技术以及MapReduce模型及其任务调度算法的深入分析的基础上,从流水线任务角度对云计算模型进行改进。对基于改进的Map-Reduce-Reload模型的系统进行技术分析：针对不同优先级以及不同需求任务的任务调度技术；针对不同级别用户,提供有区别服务的资源池技术。具体研究工作如下：(1)介绍了虚拟化和云计算技术研究的背景、现状、内容以及意义。综述了云计算服务的国内外研究现状,继而引出了本文的研究内容。分别对云平台,虚拟化技术,任务调度算法进行研究,为之后章节的模型改进和算法设计提供基础。(2)基于当前云计算的主流平台Hadoop,分析了其在执行流水线任务时的缺点。将其MapReduce模型进行改进,提出了一种Map-Reduce-Reload (下文简称MRR)模型,并通过实验将两模型进行了对比,结果表明基于MRR模型的云计算框架在处理流水线任务时具有较好的性能。(3)在第(2)点的基础上,本文对MRR系统进行技术分析,采用基于优先级的随机多需求调度算法来解决该系统的优先级和多需求的综合平衡问题；同时,在针对不同级别用户如何提供区分服务方面,提出了资源选择价值和资源匹配交换方案来保证VIP用户的优质资源。本文在改进模型MRR和相关技术分析的基础上,开发了基于MRR的云平台系统,并通过系统测试表明：本系统能够有效完成基于优先级的多需求任务调度,同时优质资源能被vip用户使用,提供差异化的虚拟资源服务。本文的改进模型以及系统研究具有一定的理论意义和应用价值。