【摘 要】
:
Fortran语言一直被广泛用于解决科学和工程中的计算密集型问题。由于多核架构的出现,追求Fortran的并行性成为科学计算领域中的一个重要目标。然而在大数据时代,多核架构由于计算资源不足和可扩展性差,导致多核并行后的Fortran程序仍然无法适应数据的爆炸式增长。云计算作为一种商业计算模型,不仅具有丰富的集群计算资源,而且具有理想的灵活性和可伸缩性,这为解决多核并行领域中计算资源不足等相关研究问
论文部分内容阅读
Fortran语言一直被广泛用于解决科学和工程中的计算密集型问题。由于多核架构的出现,追求Fortran的并行性成为科学计算领域中的一个重要目标。然而在大数据时代,多核架构由于计算资源不足和可扩展性差,导致多核并行后的Fortran程序仍然无法适应数据的爆炸式增长。云计算作为一种商业计算模型,不仅具有丰富的集群计算资源,而且具有理想的灵活性和可伸缩性,这为解决多核并行领域中计算资源不足等相关研究问题提供了可行的办法。Map Reduce是支撑云计算并行处理海量数据的有效编程模型,Spark平台是Map Reduce的高效实现,将可并行化的Fortran代码映射到Spark平台是一项有意义的工作,同时考虑到映射过程中存在云编程复杂等问题,因此,本文提出了一种面向Sp ark集群的Fortran代码自动重构及卸载方案。本文工作主要包括以下几个方面:(1)提出将Fortran代码重构为SparkMap Reduce代码的方案。首先将源代码转换为中间代码,以收集程序的语义信息。然后基于Map Reduce编程模型的并行模式,提出并行化重构方法,实现中间代码向Spark-Map Reduce代码的重构。重构的目标代码包括两部分,一是根据提出的重构方法将可并行循环重构为map函数和reduce函数,二是定义Spar k作业应用程序模板,并指出其中需要在重构过程中填充的部分,为可并行循环计算任务生成匹配的Spark作业应用程序。(2)提出计算任务卸载到Spark集群的方案。设计一个能够与Spark集群直接交互的卸载函数库,并通过Open MP卸载模型,自动生成对卸载函数库的调用,卸载计算任务。在该方案中,还通过扩展Open MP指令的使用,实现了分布式数据分区,减少了Spark内移动数据的开销。(3)在LLVM编译系统中实现了本文提出的重构及卸载方案,并开发了可视化前端。在实验中使用Poly Bench/Fortran基准测试程序集对方案的可行性进行测试,并通过与多线程Open MP并行化技术的比较来评估方案的性能。实验结果表明,本文所提方案可以有效地将运行在本地计算机上的Fortran代码自动映射到Spark集群,该方案在LLVM编译系统中的实现可以提高原有业务的执行效率。
其他文献
天山西部的降雪丰富,伊犁河流域年最大雪深普遍超过60cm,中国科学院天山积雪与雪崩研究站和伊犁的最大雪深分别高达152cm和89cm。因此,天山西部山区风吹雪和雪崩灾害较多,严重影响着当地的交通安全。新疆精(河)-伊(宁)铁路经过的缓坡丘陵区是风吹雪灾害多发区,崇山峻岭区是雪崩灾害多发区。通过对铁路沿线的气象要素进行分析与推算,结果表明,该地区的最大风速平均值14 0m/s,30a一遇的最大风速与
<正>一、教材简析:《树和喜鹊》是人教版小学语文一年级下册的一篇精读课文。这是一篇童话,是著名作家金波的作品(选作课文时有改动)。《树和喜鹊》的故事情节并不曲折,只是通过树和喜鹊在数量上的变化,阐述了友情所带来的快乐。该篇课文具有以下几方面的特点:1.文字的画面感强。全文共6个自然段,每两个自然段讲述一个画面,依次向我们展现了三个画面:一棵树和一只喜鹊孤单地生活着→后来这里有了好多树、好多鸟窝、
目的 分析140例特发性炎症性肌病合并肺间质疾病(Idiopathic inflammatory myopathy associated interstitial lung disease, IIM-ILD)患者中医证候特点。方法 采用回顾性研究方法,选取2016年1月—2019年10月期间首都医科大学附属北京中医医院收治的140例IIM-ILD患者,根据IIM-ILD患者的临床特点,归纳中医证候
<正>摘要 目的 评价定量CT特征(QCT)和基于QCT的机器学习(ML)模型在肺间质性疾病(ILD)分类中的价值,并比较QCT-ML和深度学习(DL)模型的分类效能。方法 回顾性
内蒙古干旱-半干旱草原植被表现为多年生禾草和小半灌木与生物土壤结皮(Biological soil crusts,BSCs)斑块镶嵌分布的格局特征。BSCs是典型草原最重要的地表生物覆盖体,在稳定地表环境,阻止就地起沙以切断沙尘暴沙源,促进土壤微生物及微小动物的繁衍、生存以改善土壤物质转化发挥着重要作用,其存在是该区域土壤和生态系统健康的重要标志之一。近年来,草原区煤矿的露天开采引起的粉尘、重金属
<正>慢性阻塞性肺疾病患者存在较为严重的呼吸气道受限情况。肺间质纤维化是慢性阻塞性肺疾病较为常见的并发症,是指患者的肺部组织受到损伤,出现呼吸衰竭等表现,严重者可导致患者死亡[1]。本院对所选慢性阻塞性肺疾病合并肺间质纤维化患者开展罗红霉素联合N-乙酰半胱氨酸治疗,并取得满意效果,现将结果报告如下。1资料与方法
异常球菌S9(Deinococcus sp.S9)是一种红色嗜热细菌,对辐射、温度和重金属具有较强抗性,同时具有较高的DNA损伤修复率,因为该细菌基因组包含DNA修复和抗辐射的基因,例如rec A、rec N、rec F和rec R。本文利用分子生物学和生物信息学方法,研究了Deinococcus sp.S9源RecA和RecN蛋白的氨基酸序列、表达、纯化及活性,为RecA和RecN蛋白的功能以及
甜瓜是一种重要的园艺类瓜果作物,在全世界被广泛栽培。因其营养丰富、口感极佳,深受消费者喜爱,故研究甜瓜果实成熟具有重要意义。目前有关脱落酸受体参与果实成熟的研究主要集中在番茄和草莓,其它肉质果实的相关研究较少。本文以甜瓜品种河套蜜瓜为研究材料,探究了脱落酸(ABA)受体基因CmPYL4和CmPYR1基因在甜瓜果实成熟过程中的作用,取得的主要结果如下:(1)对甜瓜脱落酸受体基因家族成员进行了鉴定,得
报纸是新闻媒体的一种手段,具有记录实事,传播信息的作用。作为信息传播的重要载体,报纸的内容应当是真实的、及时的且可靠的。蒙古文历史报纸是少数民族地区用蒙古文记载实事新闻的印刷出版物。经过长时间的馆藏存储,报纸文献的页面出现了褪色、缺失、污损、折叠等不同程度的损坏。为了更好的保存蒙古族文化遗产,蒙古文历史报纸文献的数字化工作正在全面实施。然而,由于蒙古文报纸文字书写的独特性以及样本数据集稀少等问题,
精准表征纤维素酶与底物有效吸附,是优化预处理条件,探究纤维素酶促水解反应机理的重要前提。本论文利用毕赤酵母异源表达、制备纤维素酶荧光探针;明确了纤维素酶荧光探针的吸附条件;考察了不同细胞壁与纤维素酶吸附特点。主要结果如下:(1)构建了3种重组质粒,并在毕赤酵母中异源表达,获得重组菌株,发酵8天时,Cel7A-M酶活为0.21 U/m L,Cel5A-G酶活为0.41 U/m L,BglⅠ-B酶活为