论文部分内容阅读
在当今高性能地学计算领域,MPI(Message Passing Interface)并行计算由于其强大的计算能力、灵活的控制手段以及较强的可移植性而被广泛应用于遥感图像处理、地理信息分析等实际应用中,成为了现阶段最常用的高性能计算方式之一。目前,MPI并行计算系统部分通过普通集群实现,具有成本低、性能好等优点,同时也存在着资源利用率低、负载均衡性能差等不足。针对不足之处,大多数解决方案采用增加作业调度机制、负载均衡机制以及扩充和修改MPI语义、优化动态进程管理等方式来进行改善,但效果有限。 云计算的出现为解决这些问题提供了新的思路。云计算是在高性能计算的基础上融合了虚拟化、Web2.0等技术,即利用虚拟化等技术实现了基于互联网的高性能计算服务,不仅具有低成本、可共享、易扩展的优点,而且具有资源利用率高、负载均衡能力强的特性。根据这些优点和特性,将云计算的思想与MPI并行计算有机地结合,可以很好地解决现有MPI集群系统中存在的问题。现阶段,云计算已在地学计算领域的多个方面得到研究和应用,如通过云计算平台提供地理信息查询服务、动态建模与仿真、地学数据分析与存储等各种基础研究和应用,然而这些研究和应用大多停留在对串行算法和软件应用的迁移层面,并没有涉及到并行计算等高性能计算的迁移。 对此,本文以MPI并行计算和OpenStack为研究对象,构建了云计算平台上的并行环境。首先,通过对DEM(Digital Elevation Model)等高线生成算法原理的研究,获得了以 DEM等高线生成算法为例的 MPI并行空间算法。然后通过对OpenStack中各个项目组件的研究,创建了私有云平台上的MPI并行环境,同时借助Munin、Torque PBS等开源软件,配合虚拟机动态迁移机制,实现了三个基本功能:MPI并行空间算法的高效运行;MPI作业调度管理功能;MPI计算节点的动态迁移。藉此减少MPI作业排队时间、提高资源利用率以及计算节点的负载均衡性能。最后,以DEM等高线生成等并行算法为例,对上述三个功能进行测试。实验结果显示,相对普通MPI集群平台而言,云平台上的MPI虚拟集群平台在处理并行空间算法时拥有较好的运算性能、更高的资源利用率以及负载均衡特性。 本项研究为并行空间算法迁移到云计算环境中提供了很好的解决思路,所实现的系统功能也具有一定的实用价值。