基于Mesos的分布式计算资源调度研究与应用

来源 :昆明理工大学 | 被引量 : 7次 | 上传用户:zhengzheng369
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代天文望远镜产生的数据量非常大,而且增长迅速。因此如何快速、高效的处理这些骤增的数据成为天文学研究中的一项主要问题。为了解决此问题,我国天文科学家提出了明安图射电频谱日像仪(MingantuU Spectral Radioheliograph,MUSER)。本文根据MUSER科学数据处理系统的需求,结合新兴分布式集群资源管理系统Mesos来解决MUSER中天文数据处理的难题。主要完成工作如下三点:一、从MUSER的分布式计算需求出发,对MUSER在分布式集群中的数据处理进行需求分析,然后设计了一种分布式框架OpenCluster,用于在海量天文数据处理中的计算。二、在分布式框架OpenCluster设计的基础之上,对MUSER分布式集群中的资源调度需求进行分析,然后基于Mesos的关键技术实现其在MUSER分布式集群中的应用,从而完成OpenCluster中Mesos集群调度模式的开发。三、针对Mesos中的DRF算法在MUSER分布式集群中的缺陷,从而提出一种基于DRF算法改进的M-H-DRF算法。最后对此算法的性能进行对比测试,证明了优化后的算法在MUSER分布式集群中有良好的效果。整体来看,本文结合MUSER海量天文数据处理的需求,开发了一个轻量级的分布式框架OpenCluster,并将其与Mesos结合完成Mesos集群调度模式的设计,最后对Mesos中的资源调度算法DRF进行改进,使其更适合MUSER分布式集群。总之,Mesos在射电天文数据处理系统中的研究应用将为我国天文科学研究提供良好的保障。
其他文献
近年来,随着电网的不断发展,直流电源作为电力系统重要组成部分在继电保护及电网安全控制及管理中具重要作用,目前,由于多因素影响,各变电站二次设备直流系统内所存在的问题
近些年,装配式建筑在我国建筑行业的应用十分广泛,此类建筑形式施工过程快,施工效率高,但由于装配式建筑工程在我国的实践时间较短,还未形成完善的工程项目管理模式,这就导致
<正> 生物医学工程学作为一门独立的学科,在我国的历史还很短,1978年以后方开始确立。从广义上说,生物医学工程是生命科学与非生命科学之间出现的一门新兴的边缘学科,是工程
随着无线通信技术的迅速发展,射频前端结构的数量和复杂度急剧增加,小型化、集成化、易加工等特性的多功能系统模块受到了广泛关注。天线与滤波器在无线通信系统中扮演着至关重要的角色,两者的尺寸大小、辐射效率和滤波效果会严重影响整个系统的工作状态。在传统的设计过程中,天线和滤波器往往是被单独设计的,然后通过传输线或者其他方式将两者进行级联,这种方式会导致两个器件之间的阻抗严重不匹配,而且无线通信系统射频前端
华支睾吸虫又称肝吸虫,是一种重要的人畜共患寄生虫病。寄生在肝胆管内虫体运动的机械性刺激和虫体代谢产物的作用,导致胆管上皮损伤,对胆管产生阻塞,从而引起华支睾吸虫病。
目的研讨利福平联合异烟肼治疗肺结核的临床效果和护理措施。方法 50例肺结核患者,所有患者均接受利福平联合异烟肼治疗,根据患者用药疗程的长短分为6个月组和12个月组,每组2
<正> 我院采用按摩法治疗小儿坐骨神经损伤50例,其中痊愈39例;有效10例,无效1例。现将方法介绍如下。对内翻马蹄足的治疗,除在病侧坐骨神经根部(腰4~5、骶1~2)外,臀大肌处大腿
随着全球化的不断深入,俄罗斯各个高校和中国高校间的合作日益频繁。与此同时,越来越多的俄罗斯高校开始注意对外宣传,以便让更多的国内外人士了解学校的动态。中文网站是国外高校与中国对外宣传中的重要途径。阅读高校网站新闻是了解一所学校最便捷的途径。而高校新闻网上高水平的中文翻译不仅能够帮助提升学校的形象,还能帮助其增强宣传效果,促进中俄两国教育方面的交流。本实践报告所选文本是笔者翻译的新西伯利亚国立大学官
进化策略是一种新的求解全局最优问题的方法,应用该方法对深基坑支护结构进行了优化设计的初步研究。针对进化策略在处理非线性函数的优化问题及高维优化问题时在收敛速度和
<正>一方水土养育一方人,一方气候成就一方文化,绿色建筑作为当下建筑业发展的主流,在设计过程中应充分融合当地的特色,而不是一味的跟风。当APEC蓝还意犹未尽之时,雾霾又重