分布式并行计算平台UNIAS中弹性的主从结构并行计算框架设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:lwfriendly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文的工作是为北京大学软件工程研究所正在研发的基于Erlang/OTP(OpenTelecom Platform)的分布式并行计算平台UNIAS设计并实现了支持弹性的主从结构并行计算框架。本框架能够合理地调度和分配UNIAS集群中各个节点的存储和计算资源,协调和组织各个节点上任务的分配、运行、监控和结果收集,并提供动态伸缩和出错处理机制,保证并行应用的可靠、高效运行。  本文首先介绍了UNIAS平台的研发目标和应用的特点,总结了本框架的设计目标:支持计算任务透明分布和弹性伸缩。然后,本文调研了分布式计算中的弹性机制和现有的主从结构并行程序设计模式,提出了本框架的设计思路和实现方法。  本文的工作主要分为四个部分:第一,将进程管理和任务集管理进行了分离,从机制上支持了弹性伸缩和容错;第二,设计和实现了可迭代的多层主从结构的进程组织方式,其可以灵活地根据当前系统负载和网络环境调整工作进程的分布,从而实现了计算任务的透明分布和弹性伸缩,保障应用的可靠运行;第三,抽象了UNIAS应用的处理逻辑,用户只需实现程序代码和应用配置文件就可以开发并行应用,而不必考虑系统的底层细节;第四,利用Erlang的open_port机制,使得平台能够调度非Erlang语言开发的应用。  通过本文的工作,分布式并行计算平台UNIAS具有了支持多种语言开发的并行应用的能力,用户可以像编写单任务程序那样,较容易地开发可透明分布执行的主从结构并行应用,降低了开发、管理和维护分布并行应用的难度。  为了验证本文工作的有效性,本文选取了两个典型的示例程序对实现的并行计算框架进行测试。测试结果展示了其对于数据密集和计算密集应用在任务透明分布、并行加速和弹性伸缩方面的支持。  
其他文献
在软件工程中,系统建模是具有决定意义的活动之一。建模是为了更好的理解和构造系统,并可以提供简化和复用的机会,通常软件系统的分析与设计都是通过建模完成的。在建立软件系统
应用系统的性能日益为广大计算机用户所重视,这主要是由于计算机系统越来越多地应用于社会生活的各行各业并成为日常工作的基础.然而,应用软件的性能问题往往容易为软件开发
该文研究了远程地质数据操作和共享中的相关软件技术,提出采用SMIL(同步多媒体语言)组织地质数据的解决方案.该课题来源于国家自然科学基金"九·五"重大项目"陆相油储地球物
随着分布式应用的发展,不同硬件平台、不同网络环境以及异构数据库之间的差距也随之出现.为解决分布异构问题,人们提出了中间件(Middleware)的概念.中间件领域目前最热门的技
网络安全协议(或称密码协议)是网络安全体系中的关键环节,然而安全协议的设计却极易出错,攻击者常常可以绕开密码系统而通过安全协议来对系统发起攻击.随着网络应用的普及,对
弱电系统的集成研究及实施,是自动化控制领域里的一项重要课题.针对当前弱电系统所存在的缺乏统一标准、重复开发现象严重等问题,论文提出将基于构件技术的开发方式引入到弱
触屏设备的普及促使越来越多的用户通过多点触控的方式进行输入,改变了用户的行为方式,使得用户有了多点触控输入的需求。并且,用户面对一种与传统鼠标、键盘相比更直观、更多元
粗集理论是近年来智能信息处理领域发展起来的热门学科之一,是处理不完整、不精确信息的有力工具。它在数据挖掘、专家系统、模式识别、图像处理、机器学习、神经网络等领域发
参数统计流形是由参数化概率分布组成的黎曼流形,是统计流形的一种。在解决参数化概率分布的差异性度量、维数简约、聚类、内插和外插等问题上,Fisher信息距离作为参数统计流形
根据对自助消费系统的发展趋势的分析与研究以及来自于澳门旅游局实际需求,该文提出基于一台电脑,以射频卡作为电子货币载体,利用COM组件技术设计实现一个具有多种功能、良好