云计算中心下HPC容器调度算法的设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:yqwang1023
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着科学研究的深入和产业竞争的加剧,各个领域越来越多的使用HPC应用来解决科研和生产中遇到的问题。随着计算的模型越来越大,要求的精度也越来越高,而且往往要求必须在规定的时间内完成任务,这对于底层的计算资源利用效率提出了更高的要求。传统的HPC应用大多直接运行于物理机环境之上,即便是在基于虚拟机技术的HPC Cluster环境中,资源的分配粒度也受限于节点级别,对于资源的利用率和HPC应用的运行效率都存在很大的制约,因此在HPC应用领域,亟需一种更好更高效的资源隔离和调度管理方式。容器技术的出现,为上述问题提供了一种新的解决方案。  本文在深入研究了容器技术及其编排调度系统的基础上,结合HPC应用在开发、部署、运行过程中的诸多挑战,基于Docker和Kubernetes,设计并实现了在云计算中心下,一个面向于HPC应用的CaaS(Container as a Service)平台Meadow系统,针对于HPC应用的特性,扩展了Kubernetes资源调度器原生的调度算法。在应用服务和网络资源相结合方面,本文提出利用网络流量监控数据结合网络感知策略,优化存在相互依赖关系的HPC容器之间的调度,以平衡集群中全局网络流量分布。在HPC容器放置策略方面,本文采用约束满足问题来模拟容器放置问题,推导并实现了容器放置算法。在集群资源调度方面,提出并实现了一个基于用户优先级的,以满足用户SLA需求为目标的弹性资源调度算法。  实验数据表明,Meadow系统以更细的粒度将集群资源虚拟化,资源利用率有了较为显著的提升。本文提出的调度算法,能够明显的提高HPC应用的运行效率,并使得集群资源得以被均衡的使用。
其他文献
学位
该论文针对XML文件的结构特点,实现了XML的计算机自动阅卷.从而克服了人工阅卷的缺陷,评分速度快,正确性高,客观性强,阅卷质量大大提高.该阅卷系统在功能上主要实现了对XML文
我们针对嵌入式系统软件设计的特点以及JavaScript解释器的发展状况,结合自主设计并实现的嵌入式浏览器JLBrowser,详细介绍了嵌入式JavaScript解释器的关键设计技术与实现方
在黑板系统中,知识源通过读写共享存储区——黑板来进行知识源之间间接通信,监控机制对读写黑板信息进行控制.我们将多智能体系统中的智能体看成知识源,智能体之间通过黑板来
作者提出了一个基于Internet网络,使用Web技术实现的电学虚拟实验室系统体系结构,重点解决了通过浏览器进行虚拟电路实验操作操作和可视化电路计算的实时性问题.系统在客户端
可扩展标记语言XML(Extensible Markup Language),已经成为互联网上数据发布和数据交换的事实标准,由于其强大的数据表达能力,XML完全可以在互联网和数据库之间扮演更加重要的角
我们为Webit2.0专门设计了一个实时多任务内核——WebitV,并在此基础上设计了新型的嵌入式Web服务器,由于系统资源有限,全部程序以汇编语言编写.WebitV是一个基于优先级的抢
P2P模式作为现有的客户/服务器模式的有益补充将在网络互联领域发挥日益重要的作用.如今流行的P2P技术五花八门、纷繁复杂,但是大多有很大局限性,往往一种技术只适用于某些应
近年来,随着通信网络的扩容和多媒体技术的迅速发展,基于无线网络的多媒体应用尤其是视频应用飞速发展,无线网络视频数据以指数形式迅速膨胀。同时,用户希望能够获得更优质的视频
我们简单介绍了网络系统的计算机仿真策略,重点讲述了怎么进行网络业务流量建模、仿真模型验证、仿真实验设计和仿真结果处理,以确保仿真结果的真实可靠.然后详细剖析了OPNET