异构集群环境下作业调度算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:Adisc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术以及并行计算的快速发展,采用高速网络连接大量PC形成的集群以高性价比的优势渐渐取代了超级计算机在科研生产以及高性能计算中的地位。随着集群的兴起,大量的集群管理系统应运而生,主要是用来合理地调度以及管理集群中的各项资源。其中作业调度又是集群管理系统中的核心之一,作业调度是否高效决定了整个系统的资源利用率以及作业吞吐率的高低。TORQUE以其开源性以及稳定性已经被广泛使用,但是其默认的调度器在资源调度时只是简单的实现了Round-Robin,作业调度效率不高,并且也没有针对并行应用程序进行特定的调度。为了实现更好的调度效果,本文首先根据TORQUE源码和文档对调度框架深入研究,并对常用调度算法进行分析,提出了两种新的调度算法:基于剩余计算能力的自适应负载均衡算法和基于分散-聚合的并行应用调度优化算法。前者主要针对集群作业的调度,考虑节点间剩余计算能力的均衡,达到能者多劳的效果,并且算法中考虑在整个系统已经达到均衡的时候会关闭负载均衡算法,以简单的调度算法替代,降低系统调度的额外消耗。后者则是考虑集群中并行任务的调度,以分散和聚合两种操作对调度方案不断优化,达到并行最大化,提高作业的执行效率。实验部分对新的调度算法进行测试,在提交大量作业的情况下,与其他调度算法进行性能比较,结果证明,新的调度算法缩短了作业的平均相应时间,提高了系统的资源利用率。
其他文献
广义的信息系统安全可以分为操作系统安全和网络协议安全两大部分。操作系统高层应用程序和网络高层应用协议的安全是建立在操作系统底层和网络底层的安全的基础上的。本文分
当前,导航系统已逐步成为一项研究热点,各类导航产品已进入市场,包括车载导航系统,远洋轮船导航系统等。然而,大部分的导航系统都还不具备语音识别功能,例如PDA、PPC、Smart
协议是网络的灵魂,随着互联网的飞速发展和各种新应用的不断出现,网络规模不断扩大,结构日趋复杂,这使得协议测试变得更为重要。协议工程的目的是减少协议开发过程中潜在的错误,提
轮式移动机器人的运动控制是机器人学中最具有挑战性的问题之一,对这一问题的理论研究是广泛而又深入的,但是缺少比较成熟的试验结果。机器人足球比赛的兴起则为这一问题的理论
随着电信运营商竞争的激烈和电信内部业务的增多,电信综合结算的问题日益重要。为实施有效的管理,各个省的业务结算局在建设好综合结算系统的同时,也必须建设可靠、有效的监控系
随着现代工业的发展,对配电系统的要求也越来越高,将现代电子技术、传感器技术、通讯技术、计算机及网络技术应用于传统的配电系统,促进配电系统由简单的控制向智能化的保护与管
随着信息时代来临,嵌入式系统设备得到了广泛应用,电器智能化、电子设备便携化促使设备网络化、小型化,随之产生了方便电子设备入网的接入问题。如何使办公设备、家用电器方
如何帮助学生实现认知上从理论到实践的飞越,是传统计算机体系结构教学面临的最大挑战。基于高密度现场可编程器件FPGA,构建可重构的计算机系统快速原型设计实验平台,能给学生创
高性能计算的迅猛发展使其在医学、航天、生物等领域中占有举足轻重的地位。随着问题复杂度的提升,高性能集群的规模也随之增加。传统的集群监管方式已无法满足用户需求,命令
数据挖掘是从大量、不完全、有噪声的数据中提取隐含于其中的并不为人们所知,但又是潜在有用的信息和知识的过程。目前大部分的数据挖掘方法往往对使用者具有很高的要求,而引入