异构计算环境下的地图代数空间分析并行方法研究

来源 :中国地质大学(武汉) | 被引量 : 0次 | 上传用户:michaelwf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一直以来,如何快速地从空间数据中提取更加丰富和有用的信息,为人们有效地管理和利用空间数据提供信息决策参考是空间分析研究人员的目标。随着全球范围测量精度的不断提高,空间分析应用数据源的数据量也在逐步增加。虽然在过去的几十年里,CPU通过不断地提高制作工艺,性能在逐步提升,浮点运算能力也达到了较高的水平,但随之而来的散热和能耗等问题,导致CPU时钟频率无法显著提高,单CPU执行能力的提升遇到了瓶颈,浮点运算能力的提升也在放缓,相对于日益增长的空间数据,缓慢提升的CPU浮点计算能力显得明显不足,严重影响了空间分析的计算速度,从而限制了诸多优秀的空间分析算子的应用。面对现有计算平台浮点计算能力上的限制和各应用领域巨大的计算需求,人们开始探索其它的解决方案,微处理器也随之进入多核时代,并行编程的重要性日益凸显,各领域的科研和开发人员纷纷开始尝试使用并行编程来加速计算。异构计算(Heterogeneous Computing)是一种特殊形式的并行计算,它的基本思想是将功能或性能相异的计算设备通过高速网络连接起来,并将计算任务划分成一组计算类型不同的子任务,分配到合适的计算设备上进行计算,充分利用各计算设备的优势,从整体上减少完成计算任务所需的时间,突破同构计算平台的计算能力瓶颈。异构计算具有成本低、能耗低、可扩展性强等特点,因此比传统的同构并行计算更加适合空间分析这类海量数据的计算。CPU+GPU异构计算平台是目前主流的异构计算平台,在“全球超级计算机TOP500排行榜”上占据着异构计算架构的主导地位。当前,除了浮点计算能力不足以外,空间分析进一步发展的难点在于其计算的普适性、准确性和规范性。地图代数存在着广厚的数学基础,采用代数观点全面阐述地理信息处理和可视化本质与过程的理论和方法,是空间分析的有力工具。地图代数作为一种以栅格点集的变换和运算来解决地理信息的图形符号的可视化和空间分析的理论和方法,更能适应全球环境下的大范围多维、多源空间信息数据的动态分析过程。本文针对CPU+GPU所构成的异构环境,以基于栅格点集、处理流程相对固定、数据处理具有内在并行性的地图代数为研究对象,从空间分析并行映射角度,对相应地图代数算子进行并行加速策略的研究,采用数据分割策略,借助操作的重叠隐藏数据传输的时间、并行计算减少算子运算的时间,采用数据预处理策略,突破磁盘-内存传输速度的瓶颈。主要研究内容包括:(1)对基于栅格点集、处理流程相对固定、数据处理具有内在并行性的地图代数算子的CPU串行实现进行CUDA并行化:研究算子的处理特点,将浮点运算密集的操作、适合并行执行的操作从CPU中剥离出来,交由GPU来处理,从而解放CPU资源,同时充分利用GPU的浮点运算、高并发的优势。(2)针对算子的计算性质,选择合适的数据分割策略,对大数据量栅格点集进行拆分,通过数据传输与数据处理的时间重叠隐藏数据传输时间。并不断实验、优化数据分割策略,从而在不同的计算条件下均能够达到较好的数据传输时间隐藏效果。(3)研究内存-显存的按块传输的数据传输模式,选择与之相适配的栅格数据存储结构,并设计适合按块读取的栅格数据文件格式、相应的访问接口,以改变对现有栅格数据文件格式的按坐标逐像元值读取的读取模式,突破磁盘-内存的读取瓶颈。同时,将于空间分析计算无关的数据从栅格数据文件中剔出,减少空间分析计算过程中的I/O数据量。最后,本文选择了具有代表性的地图代数算子LPos在NVIDIA推出的GeForce、Quadro和Tesla三种不同级别的CUDA计算硬件环境下对空间栅格数据进行了多组实验,分别对比了这些算子的CPU串行实现、CUDA并行实现、经过数据分割优化的CUDA并行实现的运行结果和耗时,验证了论文研究的关键方法与技术的正确性。
其他文献
随着大数据和云计算的不断发展,各行各业对海量数据的存储需求不断增长。海量数据存储和管理面临着可靠性保障困难、存储成本高和架构难以扩展等问题。为提高Scale-out架构的
近年来,随着互联网的飞速发展,网络技术的不断进步,想要在现有的网络上进行一些创新性试验也随着变得越来越困难。针对这种情况,斯坦福大学提出了基于控制与转发分离思想的新
随着数字多媒体和互联网技术的高速发展,数字媒体的发布和传播变得越来越简单和快捷。由于数字媒体传播的快捷性和篡改的简易性,使得发行商和服务提供商陷入版权危机,直接影
近年来,随着计算机的引入,使得地震资料的处理及可视化得到了很大的发展。一些非常规数学方法,如神经网络,小波变换,模糊数学,分型几何学等也在地震数字处理方面取得了一定的
信度网被认为是目前最有竞争力的一种不确定知识的表达方式,它以结点表示状态,以有向边表示结点间的相互依赖关系,用条件概率表(CPT)表达结点间依赖关系的强弱.基于这样的独
当前,宇航产品研制任务密度高、研制周期不断缩短,如何提高产品设计效率、保证设计质量成为亟待解决的问题。宇航产品设计过程对知识高度依赖,设计人员需要准确、及时、高效的获
近年来,随着科研项目规模的不断扩大,科研领域产生的数据量急剧膨胀。这预示着科研正在步入大数据时代。大数据科研为当前的科学计算提出了一个新的挑战:处理和分析这些数据需
近年米,以IPTV为代表的视频类业务越来越受到电信运营商的重视,移动终端视频类业务也愈加普及,不断改变人们的生活方式。在这个以用户为中心的时代,用户是否满意是视频业务提
学位
嵌入式技术随着后PC时代的到来得到了迅猛的发展,人才缺口较大。《嵌入式系统》是一门实践性很强的课程,其实验设备更新换代快、投入大,一些高校无力提供足够的实验设备。而