论文部分内容阅读
随着农业物联网应用的不断推广,其系统的规模也不断扩展,对数据存储系统的要求也越来越高。首先,随着人们对农业物联网技术要求的提高,更多的农业生产对象将接入到物联网系统,农业物联网的数据规模不断增大,越来越需要分布式集群来存储日益增多的海量数据;其次,由于农业物联网接入的传感器类型繁多,采集的数据种类也越来越多并不断变化,不仅有各种数值类型结构化数据,也包含了大量文档数据、图像、以及视频等非结构化数据,这导致农业物联网的部分数据越来越多地出现非结构趋势。这种非结构化数据与结构化数据并存的现象对农业物联网的存储系统提出了更高的要求。为了解决农业物联网海量化和异构化数据高效读写的问题,本文开展了如下工作:(1)针对农业物联网不同类别、不同数据块大小等等数据特征,分别在关系型和非关系型底层存储系统上进行检索和写入效率的实验,并分析对比,探究了底层存储模型和数据特征之间的内在联系,得出结论关系模型更适宜存储结构化、小数据块数据,非关系型根据其模型的不同分别适合存储不同的非结构化数据。(2)根据(1)的实验结论建立基于数据特征的统一存储模型,指出统一存储模型的数据规范和数据交换应遵循的要点,将一切类型的数据视为具有统一格式的数据对象,并根据一定的规则与底层存储系统进行信息交换。(3)基于统一数据模型建立了异构数据统一存储平台HDIP。通过建立异构数据统一存储平台,解决了用户海量数据的高效存储问题,统一的操作接口简化了用户的数据模型,建立了统一的数据结构,实现了用户数据的统一存储与检索;通过元数据映射机制,解决了统一数据对象和底层存储系统之间的映射;通过类型的映射解决异构数据存储模型之间的类型匹配。(4)本文基于HDIP架构设计,采用MongoDB、MySQL、Hbase作为底层数据存储系统,构建了面向农业物联网应用系统原型--小麦农情监测数据存储系统原型。本文通过建立统一数据模型,为异构数据存储提供了解决方案;通过构建面向农业物联网的应用系统原型,验证异构数据统一存储平台的实用性和有效性,对未来面向农业物联网异构数据存储解决方案提供参考。