云计算平台上任务调度算法的研究

被引量 : 0次 | 上传用户:mars1998
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着应用种类的增多和数据规模的增大,传统资源组织和管理方式无法满足用户对计算和存储的需求,这促使云计算概念出现和快速发展。云计算将成百上千的计算机组成远端大规模集群,将计算能力、数据存储和应用等以服务方式提供给用户,使用户像水电一样使用计算机资源。一经提出,受到学术界和企业界的广泛关注。随着越来越多的应用迁移到云平台,提高云计算平台的性能具有十分重要的意义。随着云计算的不断应用和发展,.针对应用需求出现了不同类型的分布式计算框架,相应产生了多种云计算平台。主流云计算平台包括:(1)适合处理离线批量应用的基于MapReduce计算框架的云平台,(2)可快速处理迭代应用和递增应用的基于事件驱动的云平台和(3)支持同时运行多种计算框架应用的弹性计算云平台。本文在深入调研云计算领域关键技术和研究现状的基础上,针对主流云计算平台,以提高云计算平台性能为目标,研究任务调度问题。本文的主要内容和贡献点如下:1.研究了基于MapReduce计算框架的云平台特性,提出了基于预取的调度算法,并进一步实现了一个任务调度器-HPSO。将预测机制、数据预取技术和任务调度三者结合,在任务调度策略的指引下采用数据预取技术,提高具有数据本地性任务的比例,进而优化云平台性能。实验结果显示:HPSO可获得不低于90%的数据本地性,可获得最高1.49倍的加速比。2.分析了基于事件驱动的云平台的特性,提出两步调度算法,并设计了任务调度器一TSS。该算法将新触发器直接分配到监测数据所在节点上,以响应数据更新;随后针对集群负载不均衡的情况,运用主节点宏观调控下的分布式随机抽样均衡算法进行负载均衡。将TSS配置在基于事件驱动的云平台Domino上,通过实验验证了该算法的有效性。3.分析了影响弹性计算云平台的性能因素,该平台采用增量资源机制防止任务饿死,为任务预留资源,导致资源利用率低,基于此提出了一种新的分类调度算法- CategoryS。该算法定义了小作业(small job)和大作业(largejob)两种标签,算法可分为两部分:第一部分,优先执行large job,尽量减少预留资源次数;第二部分,CategoryS将large job预留的资源借给smalljob,当large job所等待的资源到达时,收回借出的预留资源,这样即不影响large job的运行,且提高集群利用率。将CategoryS配置在YARN上,实验结果表明,该算法可有效提高混合任务集的性能。
其他文献
本文以上市公司熊猫烟花定向增发为例,研究实际控制人以现金认购方式参与上市公司定向增发过程中的利益输送问题。研究结果表明,市场对现金认购定向增发股份盲目追捧,熊猫烟
随着经济的发展和生活节奏的加快,越来越多的人购买私家车作为代步工具,汽车的保有量也随之迅速增加。由于大部分城市的交通设施还比较落后,交叉路口的调控能力比较弱,交通阻
现行会计制度中关于企业集团内部债权债务的抵销一般是笼统地直接给出合并财务报表抵销结果,然而抵销处理的过程不易被理解。本文从个别财务报表的角度分析了企业已经确认了
本文通过对中美7所高校会计专业课程设置的体系差异、教学模式的差异(教学目标的差异、专业课程内容的差异、课程考核方式的差异)等方面加以研究,提出了我国高校应借鉴美国高
随着数字化技术的演进,人们的生活、工作从形式和内容方面都发生了巨大的改变,数字化生存环境已经是社会的发展趋势。数字技术的不断革新引领着通讯技术与互联网的飞速发展,
民国时期的教材《开明国语课本》的热卖引起了大家对于小学语文教材的关注,随之而来的是人们对现行人教版小学语文教材的批判。纵观这些批判和质疑的声音,以及对《开明国语课
110、122、119报警指挥系统,是通过各种特殊服务电话为社会提供不同的服务,也是公安机关接受群众报警求助的窗口。为了提高城市的抢险救援能力和社会救助的服务水平,靠原来分散
2011年我国颁布的《国家中长期教育改革和发展规划纲要》,纲要指出教育改革对国家教育事业发展的重要影响,再加上云计算机和互联网的快速发展对教育变革的巨大推动,传统教育
数字阅读时代下,国民阅读方式的转变和移动互联网的迅速发展推动了数字阅读平台的建设和发展。中国电子书企业起初热衷于效仿亚马逊模式,但市场证明亚马逊模式并不适合中国电
随着国家政策的放开和扶持中小企业的各种优惠政策的出台,我国中小企业的数量呈快速增长趋势。中小企业在发展过程中虽然得到了国家层面上的支持,但是中小企业由于自身的原因