【摘 要】
：
现代射电干涉阵列主要由大量单元望远镜组成,其独特的设计为阵列提供了广阔的视野和快速测量的能力。这些干涉阵列展示更为精细的天空亮度分布的同时,也带来了新的科学和技术挑战。观测数据规模大幅增加,使得海量天文数据的存储和数值计算成为射电天文研究领域的关键因素。传统单机环境下采用Open MP、GPU+CUDA等方式和现存的射电天文算法耦合性较大,不利于算法的快速移植。在Dask框架下,任务调度策略与射电
论文部分内容阅读
现代射电干涉阵列主要由大量单元望远镜组成,其独特的设计为阵列提供了广阔的视野和快速测量的能力。这些干涉阵列展示更为精细的天空亮度分布的同时,也带来了新的科学和技术挑战。观测数据规模大幅增加,使得海量天文数据的存储和数值计算成为射电天文研究领域的关键因素。传统单机环境下采用Open MP、GPU+CUDA等方式和现存的射电天文算法耦合性较大,不利于算法的快速移植。在Dask框架下,任务调度策略与射电天文算法的解耦有利于算法在计算机软硬件资源的弹性缩放,实现从单机系统到分布式集群的移植。本文以射电干涉可见度数据中的增益自校准为例,对干涉测量集（Measurement Set,MS）进行数据处理分析,并结合开源的Dask分布式并行框架,对增益自校准算法进行并行化优化研究和实现,具体研究内容如下:1、分析射电干涉可见度增益自校准算法的原理,并结合Dask提供的多种并行策略实现干涉测量集的并行加载和增益自校准的数值计算;2、使用Dask框架对增益自校准算法进行多线程并行实现,并从单机系统移植到分布式系统中;3、对基于Dask.Array实现的增益自校准算法在分布式系统中进行性能测试,并提供可视化的动态监控。实验结果表明,相比于Num Py数组,基于Dask.Array实现的增益自校准是解决海量天文数据的数值计算的有效途径,提高了矩阵计算的效率,充分发挥了分布式系统多核CPU的利用率。本文基于Dask并行框架实现的多个自校准算法,运行环境不局限于单机和分布式系统,同时满足算法使用多线程或者多进程的执行方式,提升了软硬件资源的适应性。本研究的主要创新点是（1）采用Dask.Array存储和计算射电干涉可见度数据,不再使用Num Py数组;（2）使用延迟计算和矩阵分块计算策略细粒度化程序的并行方式,提高多核CPU利用率;（3）使用Dask框架,转向高度并行处理,提高增益校准算法的效率以适应高性能计算。可以预见,使用Dask框架将成为射电天文领域内并行处理海量数据的必要方法。
其他文献
资源与环境对人类社会生存与发展至关重要,在我国经济的快速发展中,矿产资源发挥了极大的作用,并逐渐成为经济发展的重要部分。为了实现矿产资源可持续发展与社会经济平稳发展,因此,进行矿产资源环境承载力研究,这对平衡社会经济与矿产资源环境的关系也极其重要。本研究选取云南省矿产开发区,建立包含多因素的矿产开发区资源环境承载力评价指标体系,对各指标原始值使用极差变换法消除量纲,通过熵值法确定指标权重,采用加权
华南两广交界处的云开地区,有一座京村金矿床,其距离河台金矿约五公里,最近,河台金矿田外围找矿过程中,探索到中等规模的矿产。类似于河台金矿床,其韧性剪切带控制着该矿床。两者最大的不同是河台金矿体存在于云开群糜棱岩化的混合岩中,但京村金矿床则产自糜棱岩化及破碎岩化的花岗岩中。京村金矿矿石类型包括蚀变糜棱岩型和硫化物石英脉型两种,金含量可达205 ppb。金主要以微细粒状包裹体存在黄铁矿中,或者镶嵌在其
植被的识别分类是管理植被资源的基础和依据,如何高效精准识别植被类型是林业遥感亟待解决的问题。不同的植被具有极其细微的光谱特征差异,利用高光谱遥感探测分析植被间的这种差异特征,一方面可以为植被遥感分类提供先验知识,为区分光谱特征相近的植被提供可能,另一方面能够为监测植被长势以及植被的区域应用提供理论依据和技术支持。本研究将研究区设在昆明西山森林公园,利用SOC710VP地物光谱仪采集滇中11种典型植
土壤磁测技术具有快速、非破坏性的特点,广泛应用于第四纪地质学、土壤学、沉积学等多个学科领域的研究。云南高原土壤具有纬度地带性与垂直梯度带明显的优势,是研究不同土壤类型和气候条件下土壤磁性特征及其与成土过程关系的理想场所。论文选择位于云南省不同气候带,不同类型（红壤、黄棕壤、黄壤、紫色土）的土壤剖面为研究对象,进行系统的环境磁学测量,结合地球化学常量元素等分析手段,研究不同气候带土壤剖面的磁性特征,
随着城市化进程的不断加快,城市迅速扩张,人口急剧增多,城市水资源紧缺和水污染加剧的问题日益突出,优质水资源的供给已成为影响城市发展规模和发展方向的制约因素之一。因此,加强城市备用水源地的建设和管理已非常紧迫。本论文以保山盆地西部岩溶备用水源地的开发与保护为目标,首先通过对保山盆地西部地形地貌、地层岩性、水文地质条件等调查分析并结合钻孔资料建立研究区三维地质模型;然后利用降雨入渗系数法、开采系数法计
磷矿开采过程中产生的大量废石尾砂堆放在地表占用了大量耕地,并且对生态环境产生一定影响。因此,地下充填开采法成为磷矿地下开采的研究热点,充填采矿法的核心是将按一定比例混合的水泥基、废石、尾砂等充填浆体输送至井下采空区进行充填,这种充填开采方法不仅可以解决大量废石和尾砂堆放带来的地表环境问题,同时通过对采空区的充填也可以避免采空区后续造成的塌陷引发的环境地质问题。而对采空区进行大面积的浇灌充填,充填层
随着社会的发展和科技的进步,无人机和数码相机的性能提升、价格降低,许多中小企业开始购买无人机,用来完成相关工程项目。小型无人机完成摄影测量的相关工作,具有成本低、操作简单、便于完成相关测量工作等优势。无人机倾斜摄影测量工作主要分为两大部分,外业的数据采集和内业的数据处理。本文主要从整体的角度进行考虑,分析影响成果精度的因素:外业阶段主要考虑航线设计和重叠度对成果精度的影响,内业阶段主要考虑航线飞行
在岩溶洞穴的旅游开发中,获取完整的岩溶洞穴内部三维空间信息是进行旅游开发设计的前提。采用传统的测量手段无法很好的获取和表达岩溶洞穴内部详细的三维空间信息。随着测绘技术的不断发展,运用三维激光扫描技术能快速获取被测物表面的三维点云数据,而摄影测量技术通过对获取的影像数据进行处理,也能得到测量对象的三维点云数据,这为溶洞内三维空间信息的获取和表达提供了有效方法。但是,一方面,三维激光扫描技术和摄影测量
云南省新平县区内构造体系复杂多样,新构造发育,由于受构造、地形地貌、气候和人为活动的影响,近年来,滑坡、泥石流等地质灾害频繁发生,其影响程度及范围都日益增加,对财产造成较大损失,有些灾害点还威胁着群众的生命财产安全,制约着新平县社会和经济的可持续发展。本论文核查了区内已发生和不稳定的地质灾害点（隐患点）基本情况,并对地质灾害发育的分布规律、形成机理、发展趋势进行分析研究,取得如下主要认识:（1）查
随着摄影测量和计算机技术的发展,三维重建己广泛应用于数字城市、智慧城市、文物考古等领域。各项应用的升级使得各行业对三维模型的完整性和精细化程度要求也日益提高,如何高效、准确地构建三维模型成为研究热点。本文的目的就是构建既能保留大场景的完整性又能突出局部细节的精细化模型。目前比较成熟常用的三维建模方法分为三类,分别是:几何建模软件技术、激光扫描技术、数字摄影测量技术。在实际的工程中应用几何软件和激光