论文部分内容阅读
随着物联网技术的进一步发展,面对不断增长的数据,传统的存储架构由于扩展性较差,长此以往,存储环境就会变得日益复杂,并造成了过高的能源消耗。不同于传统的存储系统,分布式云存储系统能够实现海量信息的存储,高效地管理庞大规模的文件,能够提供良好的查询效率。但由于云存储系统是基于互联网技术而生,都是以小图片流、小视频流等小文件数据为主要存储对象,但在物联网中,需要对海量的图片流及视频流等数据进行反复的存取。因为物联网需要采集声、光、热、电、化学、位置等各种信息,而不同类别的传感器与信息接收器所捕获的信息内容大不相同。针对物联网内海量数据的异构性与实时性特点,结合分布式云存储系统的架构性优势,在其基础上相较于物联网异构数据实时存取特点,在多个数据中心对海量数据进行边缘化存储,更高效地为最终用户提供实时的并发访问服务,本文提出了物联网异构数据存储算法,主要有以下两点工作:1.基于物联网海量数据的分布式存储算法。这种算法分别通过使用“系统存储级别”指标设计实现数据中心内海量数据的分级存储机制,解决了数据中心间的数据一致性分配问题;通过物联网各数据中心间发送通信报文,解决了数据中心间相互了解存储状态的通信问题;利用“完全性存储”的存储概念,解决了“原始数据流”的数据规模异常大的存储分配问题。通过物联网分布式数据存储算法,与基于集群的三层存储体系结构共同构成一个基于物联网数据中心间异构数据的分布式存储框架体系结构,以达到异构数据在物联网数据中心间的边缘化存储,最终实现了存储资源的负载均衡。2.基于物联网异构数据的分类并行存储算法。这种算法针对物联网内基于集群的三层存储体系结构,阐述了其中的三种节点资源,其中,Monitor节点负责监控整个系统运行状况,以及处理物联网的终端存储请求;Server节点直接对物联网终端进行业务处理与提供信息服务;Storer节点负责实际存储物联网内所有的数据资源。结合物联网内异构数据的实时性存取特点,提出了ClassifyMapReduce分类并行存储算法,将异构数据的并行存储服务算法分解为几个过程,在基于三层存储架构的框架下设计了数据分析算法、数据映射算法和数据合并算法,并加入了进程迁移与超流水线技术,实现了具有高度实时性和有效性的物联网内异构数据分类并行存储功能。最后,将以上提出的两个算法进行了仿真实验。实验结果表明,基于物联网海量数据的分布式存储算法可以平滑的平衡数据中心的存储容量,保证物联网内海量数据的边缘化存储。基于物联网异构数据的分类并行存储算法,可以有效的提高异构数据存储的实时性,保证海量数据的存储效率。