基于hadoop的海洋环境数据处理并行运算及任务调度算法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:DayaL
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着我国海洋事业的飞速发展,海洋信息化工作取得了巨大成绩。经过多年的建设,国家海洋局建成了大量的专业海洋环境信息数据库,众多的学者加入到了海洋应用的研究中去,搭建了多套应用于海洋多种业务的信息系统。海洋中涡旋是一种反应海洋物理特征的重要动力现象,是海洋物理环境的重要组成部分,涡旋数据的获取方式多种多样,时间周期短,数据量大、算法单一是涡旋数据处理过程的重要特征,采用传统的方式资源占用多,执行效率低,运行成本高,传统模式难以适应业务部署的快速要求,新兴的云计算(Cloud Computing)技术可以有效地解决上述涡旋数据处理中存在的问题。云计算将通过一个标准的模式向最终用户按需提供服务,具有节省投资,提升业务支撑能力,提升运行效率,降低投资和决策风险,绿色节能等优点,基于云计算平台进行海洋涡旋数据的处理具有不可替代的优势。  本文分析了海洋环境中尺度涡旋数据的特点,结合云计算和云服务的技术特点,以Hadoop作为实验平台,以计算南海中尺度涡旋内部速度变化可视化为例,提出了涡旋数据云组织存储的方法、数据与任务嵌套并行的并行算法设计框架,通过对比实验体现了该并行算法设计的高性能;对Hadoop平台上已存在的任务调度算法进行了深入的研究,针对涡旋数据量大、多任务等特点设计了基于遗传算法的消耗任务调度算法,实现多任务完成总消耗和单个任务消耗都达到最优,通过在 CloudSim仿真平台上进行的对比实验,验证了该任务调度算法的优势,体现了较好的公平性。
其他文献
[Objective]To screen the optimum medium of Ganoderma lucidum liquid fermentation. [Method]Effect of different carbon sources on mycelial growth of G. lucidum su
低碳经济是未来经济发展的一种趋势,其实质是降低能耗、减少污染物排放、提高能源利用率、促进能源低碳发展。随着全球人口的增加,人类由于利用土地而造成的土地利用覆被的变化
在大众旅游以及城市化快速发展的背景下,我国呈现出大规模的城市历史街区更新改造热潮,部分历史街区改造成功成为城市的形象名片或热门景点,给城市带来名誉效益和经济收入,然而还
城市是地表上人口稠密、各种社会经济活动密集的场所,是各种人文要素和自然要素的区域综合实体,是区域经济发展的中心,承担着人类社会政治、经济和文化的各种功能。城市之间
涟源是湖南很重要的一个产煤区,但煤产量却无法满足周边地区化工、钢铁、发电等能耗产业的高需求。供不应求的煤炭,按理说应以市场调节的方式提高价格,却走向了掺杂使假的另一个极端。这背后有着怎样深层次的原因?      2008年7月,在湖南涟源市一个偏僻的小山村里,简易的粉碎机轰轰作响,几个当地人在一个竹竿搭成的棚子里,将成堆成堆的煤矸石、油土粉碎,掺杂到原煤当中,再成车成车地运往电厂。涟源是湖南很重要
学位