论文部分内容阅读
随着物联网技术的迅速发展,物联网技术的应用范围也越来越广泛,越来越多的设备接入到物联网中。每一类设备会提供不同类型的数据信息,随着时间的发展,收集到的各种设备数据越来越多,单机的存储容量已经不能满足数据的存储需求;同时,单机存储数据量的增大也降低了数据查询的速度;此外,现有数据存储方式使数据扁平化,不易进行不同维度的数据关联。因此,如何存储物联网中各类传感设备所采集到的数据,如何对数据进行有效处理从而提升对不同维度数据的快速查询是急需解决的问题。为了解决上述问题,本文提出了一套物联网数据多级存储系统的设计方案,并设计和实现了一个面向物联网多维度数据的多级存储系统。在本文提出的方案中,第一级存储使用常用的关系型数据库存储传感设备解析后数据,为实时监控系统的实时数据查询提供支持;第一级存储系统中的数据会同步到第二级的分布式数据存储中,在第二级存储中建立全量数据的数据仓库,能够支持大规模数据的数据处理,同时数据在第二级存储中实现了分布式存储,并具高可用性;使用MapReduce模型对第二级存储中的数据按照不同的维度进行数据处理,并对处理后的数据按照不同维度进行存储作为第三级存储,为数据的目标维度、区域维度的查询提供支持。本文首先分析了现行存储系统在数据存储与查询中存在的问题;其次,针对每一个问题提出相应的解决方案,从而确定整个多级存储系统的设计实现方案;然后,对多级存储系统进行了实现;最后,对系统的功能和性能进行了测试。