集群计算系统具有低成本、高性能的特性,提供了强大的批处理和并行计算能力,代表了高性能计算机发展的主流方向。在该类系统中,通过提高硬件性能并不能完全满足用户复杂多样的要求,尤其是不能满足大规模科学计算和商业应用的要求,还需要对计算资源进行高效的管理。集群作业管理系统正是适应这种需求而出现并快速发展起来的。它可以根据用户的需求,统一管理和调度集群的软硬件资源,保证用户作业公平合理地共享集群资源,提高系统利用率和吞吐率。 目前比较流行的作业管理系统,虽然具有较完善的基本管理能力,但还不能根据不同应用对软硬件资源的需求和偏好程度进行调度和管理,管理性能与适应能力还有待进一步提高。本文在作业管理系统LSF的基础上,重点研究了集群计算系统的资源管理优化技术,并设计实现了相应调度策略与机制。 1、在分析和抽象集群计算系统的软硬件资源和用户资源需求基础上,提出了面向集群计算系统的资源管理多维QoS模型; 2、提出了适应不同应用的多维QoS作业调度算法JSBMQ和资源匹配算法RMBMQ; 3、在作业管理系统LSF的基础上,设计实现了以JSBMQ算法思想为核心的调度器Scheduler,并对支持Scheduler的相关实现机制进行了优化。 本文针对作业管理系统所作的研究和优化工作,有效地提高了集群计算系统的作业调度效率和利用率,同时可缩短用户的作业响应时间,能满足不同应用领域的QoS需求,具有较大的实际价值。