物联网异构数据存储算法研究

被引量 : 0次 | 上传用户:oliu1113
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的进一步发展,面对不断增长的数据,传统的存储架构由于扩展性较差,长此以往,存储环境就会变得日益复杂,并造成了过高的能源消耗。不同于传统的存储系统,分布式云存储系统能够实现海量信息的存储,高效地管理庞大规模的文件,能够提供良好的查询效率。但由于云存储系统是基于互联网技术而生,都是以小图片流、小视频流等小文件数据为主要存储对象,但在物联网中,需要对海量的图片流及视频流等数据进行反复的存取。因为物联网需要采集声、光、热、电、化学、位置等各种信息,而不同类别的传感器与信息接收器所捕获的信息内容大不相同。针对物联网内海量数据的异构性与实时性特点,结合分布式云存储系统的架构性优势,在其基础上相较于物联网异构数据实时存取特点,在多个数据中心对海量数据进行边缘化存储,更高效地为最终用户提供实时的并发访问服务,本文提出了物联网异构数据存储算法,主要有以下两点工作:1.基于物联网海量数据的分布式存储算法。这种算法分别通过使用“系统存储级别”指标设计实现数据中心内海量数据的分级存储机制,解决了数据中心间的数据一致性分配问题;通过物联网各数据中心间发送通信报文,解决了数据中心间相互了解存储状态的通信问题;利用“完全性存储”的存储概念,解决了“原始数据流”的数据规模异常大的存储分配问题。通过物联网分布式数据存储算法,与基于集群的三层存储体系结构共同构成一个基于物联网数据中心间异构数据的分布式存储框架体系结构,以达到异构数据在物联网数据中心间的边缘化存储,最终实现了存储资源的负载均衡。2.基于物联网异构数据的分类并行存储算法。这种算法针对物联网内基于集群的三层存储体系结构,阐述了其中的三种节点资源,其中,Monitor节点负责监控整个系统运行状况,以及处理物联网的终端存储请求;Server节点直接对物联网终端进行业务处理与提供信息服务;Storer节点负责实际存储物联网内所有的数据资源。结合物联网内异构数据的实时性存取特点,提出了ClassifyMapReduce分类并行存储算法,将异构数据的并行存储服务算法分解为几个过程,在基于三层存储架构的框架下设计了数据分析算法、数据映射算法和数据合并算法,并加入了进程迁移与超流水线技术,实现了具有高度实时性和有效性的物联网内异构数据分类并行存储功能。最后,将以上提出的两个算法进行了仿真实验。实验结果表明,基于物联网海量数据的分布式存储算法可以平滑的平衡数据中心的存储容量,保证物联网内海量数据的边缘化存储。基于物联网异构数据的分类并行存储算法,可以有效的提高异构数据存储的实时性,保证海量数据的存储效率。
其他文献
二十世纪四十年代的小说语言,部分是由于独特的战时地缘政治,部分是由于对五四以来的文学遗产的不同认识,从而呈现出不同的取径。本文以史论结合、内外兼顾、立足文本的方法,
近年来,随着我国社会转型的加快,城乡二元结构的剧烈震荡,人民权利意识的觉醒,政府服务意识转变的同时伴随着机制体制和公务人员思想意识的相对滞后,以及政府机构的改革等,使
研究构建了2组表流人工湿地模拟系统和3组潜流人工湿地模拟系统,种植菖蒲、芦苇,在平均进水COD、TN、NH4+-N、NO3--N、NO2--N浓度分别为110、21、6、9以及6 mg/L,进水流速为4
从医疗服务现状探讨医学检验人员在医学领域中处理各种人际关系及活动的伦理问题.倡导规范医务人员以人道主义为特征的医德观念和医学责任感,呼唤医务人员人文精神的回归和发
目的调查深圳市宝安区社区居民口腔健康状况,为针对性开展口腔疾病防治工作提供信息支持及依据。方法参考全国口腔流行病学调查方案,自行设计深圳市宝安区社区居民口腔健康状
就业是民生之根本,是人们实现自我价值和社会价值的重要手段之一。随着高校扩招、毕业生就业分配制度的改革以及全球性金融危机的影响,大学生的就业竞争日渐激烈,就业难度日趋增
本文以农村金融理论为基础,结合统计学、制度经济学相关理论,对孟加拉国格莱珉银行的发展模式进行研究。通过统计相关经济指标定量分析结果发现:格莱珉银行的组织结构及其招聘制
目的:基于CCD的荧光分子断层成像(FMT)近年来取得了快速发展,非接触式荧光分子断层成像技术(FMT)需要获取成像对象的三维表面轮廓,用于荧光团浓度重建的前向模型。方法:提出
21世纪世界全球化趋势不断加强,经济发展不仅突破地域限制,甚至突破国家限制在全球范围内进行产业布局,各个地域、国家之间产业关联不断加强,同时,依托于科技的发展、交通的便捷,这
当前,服务贸易已经成为各国经济贸易发展的重要内容,服务贸易在国际经贸领域中越来越引起人们的高度重视,它不仅是影响各国经济发展的重要力量,也是衡量一个国家现代化水平和国际