面向应用的集群资源管理系统设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:mcl19800627
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,人们对计算机处理性能的要求越来越高,单个服务器已经逐渐不能满足用户的需求,而超级计算机的价格非常昂贵,相比之下,集群系统具有高性价比、高可用性、高扩展性的特点,因此逐渐成为了高性能计算的主流。集群系统是通过高速网络互连起来的一组计算机,它们作为一个整体为用户提供应用服务。石油勘探就是一个需要进行海量数据处理的行业,具有计算数据量大,算法复杂的特点,对高性能计算的需求也是与日俱增。集群资源管理系统的主要任务是对集群中的各种资源进行统筹管理,通过提高系统资源利用率使系统达到更高的性能。本文所研究的集群资源管理系统是川庆石油物探公司地震数据处理解释系统的关键支撑系统,为针对地震数据处理特点开发的专用系统。本系统根据用户需求对集群资源进行统一管理,通过对用户提交作业的合理分配,使系统资源得到高效利用,从而提高系统的工作效率。本系统主要实现了以下功能:(1)实现了对服务器与计算节点中资源对象的管理。服务器对整个集群系统中所有计算资源进行统一管理,包含集群中所有的节点信息与作业信息;计算节点对此节点上的计算资源进行管理,包含此节点上的资源信息与作业信息。(2)根据地震数据处理的特点和实际项目中的软硬件需求,在通用调度算法基础上设计出了适合本系统的调度策略。为了方便调度算法的替换和降低服务器对各种请求的响应时间,本系统将服务器对象管理进程和调度进程分开进行设计,实现了多种作业调度算法,并考虑了系统间的负载均衡与资源预留策略。(3)为了保证系统持续、可靠地提供服务,减少由于集群中服务器或计算节点故障而造成的损失,设计并实现了服务器的双机热备功能及节点的故障处理功能,完成了服务器重要数据的备份与恢复工作和故障节点上未完成作业的转移。本系统采用了客户端/服务器设计模型,客户端只需要同服务器进行通信,服务器对整个集群资源进行统一管理。在驱动模式上采用了事件驱动模式,集群中各节点的运行取决于所收到的事件消息,同时为了方便系统的升级,系统设计中考虑了减少各模块间的耦合性。
其他文献
合成孔径雷达(SAR)是二战以后发展起来的一种高分辨成像雷达,利用它可以全天候、全天时、远距离地得到类似光学照相的高分辨图像,在军事和民用方面都具有重要的应用价值.该文
在未来的CDMA蜂窝系统中,绝大部分业务是从基站流向移动台。因此,一个有效的资源分配方案对于前向链路是非常必要的。本文提出了一个最优的前向链路速率/功率分配方案并通过仿真
WAP技术是实现移动互联网的一种解决方案,它是专门为移动终端接入Internet而设计的,适合于显示屏幕小、存储和计算能力有限的移动终端和窄带宽、高时延的无线传输环境.要实现
Web数据库在应用中面临着这样一个问题,即数据库的规模日益庞大,而通过应用系统对Web数据库的访问和操作数量巨大,并发程度很高,业务逻辑的复杂程度不断提高.应用于Web的系统
呼叫中心70年代初诞生于美国,是一个集语音技术、呼叫处理、计算机网络和数据库技术于一体的系统.作为一种能充分利用现有通信手段和计算机技术的全新现代化服务方式,越来越
数字音频信号的典型采样精度是16位,采样频率为声音实际带宽的两倍(例如对于CD音质的声音采样频率44.1kHz)。因此仅仅记录一秒的立体声CD音质声音就需要大于1.4M位的数据量。但
计算机网络和通信的高速发展,使多媒体数据如声音、静态图象和动态图象的存储、传输随着数据量的增大而面临很大的问题。其中数据压缩是提高存储介质及通信带宽利用率的核心。
研究人员的系统作为ALV二维视觉理解系统的硬件平台,由挂接在通用PC机PCI总线上的专用视频采集卡以及DSP处理板组成.论文的第二章深入介绍了PCI总线规范及其特性,提出用FPGA
该文深入地总结与分析了国际上现有解决方案存在的缺陷与不足,从系统性能、安全性、平台无关性等多方面进行考虑,对原有方案进行改进,提出了一套先进、完善的解决方案,在此基
针对通信系统仿真运算量和数据量巨大的特点,以及目前所见的通信系统仿真软件只能在一台计算机上运行的现状,本文提出了基于Internet的分布交互式通信系统仿真平台的设计方案。