面向物联网多维度数据的多级存储系统的设计与实现

来源 :北京邮电大学 | 被引量 : 7次 | 上传用户:xixixi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的迅速发展,物联网技术的应用范围也越来越广泛,越来越多的设备接入到物联网中。每一类设备会提供不同类型的数据信息,随着时间的发展,收集到的各种设备数据越来越多,单机的存储容量已经不能满足数据的存储需求;同时,单机存储数据量的增大也降低了数据查询的速度;此外,现有数据存储方式使数据扁平化,不易进行不同维度的数据关联。因此,如何存储物联网中各类传感设备所采集到的数据,如何对数据进行有效处理从而提升对不同维度数据的快速查询是急需解决的问题。为了解决上述问题,本文提出了一套物联网数据多级存储系统的设计方案,并设计和实现了一个面向物联网多维度数据的多级存储系统。在本文提出的方案中,第一级存储使用常用的关系型数据库存储传感设备解析后数据,为实时监控系统的实时数据查询提供支持;第一级存储系统中的数据会同步到第二级的分布式数据存储中,在第二级存储中建立全量数据的数据仓库,能够支持大规模数据的数据处理,同时数据在第二级存储中实现了分布式存储,并具高可用性;使用MapReduce模型对第二级存储中的数据按照不同的维度进行数据处理,并对处理后的数据按照不同维度进行存储作为第三级存储,为数据的目标维度、区域维度的查询提供支持。本文首先分析了现行存储系统在数据存储与查询中存在的问题;其次,针对每一个问题提出相应的解决方案,从而确定整个多级存储系统的设计实现方案;然后,对多级存储系统进行了实现;最后,对系统的功能和性能进行了测试。
其他文献
太原市教育局坚持职业教育发展专业化、产业化、集团化的方向,锐意改革,截止到目前,全市已拥有高等职业大学1所,在校生2531人。中等职业学校87所,在校生总数为41142人;其中市属中专
为进一步提高垦区事业单位内部管理水平,规范内部控制,加强廉政风险防控机制建设,广东农垦总局根据财政部及农业部的统一部署,在垦区83家事业单位全面实施内部控制体系建设,
随着2008北京奥运会的日益临近,全国海事系统按照交通运输部的统一部署,服务奥运的各项准备也进一步推进。5月12日,保奥运全国船舶和港口保安工作会议在天津召开,会议再次对奥运
作为我国首个经国务院批准设立的国家级航海博物馆,中国航海博物馆于7月5日正式开馆。而备受海事系统瞩目的我国目前唯一的国家级海事博物馆——中国海事博物馆经过了近3年的
“今天的监控手段实在太发达了!”在天津海事局,看着监控系统的电子大屏幕上出入天津港的各种船舶有序航行,船舶名称、所处的精确位置(经纬度)、船舶航向、航速等信息实时展示在眼
选取中国知网(CNKI)为数据来源,就国内石油污染对土壤酶活性的影响研究进行了文献计量探讨。结果表明:从1997~2010年的14年间,石油污染与土壤酶之间的相关研究单年发文量随年
努力降低水上交通安全管理的执法成本,是海事执法部门在实际工作中切实坚持和落实科学发展观的基本要求。文中从海事管理的角度出发,针对海事巡逻船舶在正常执法过程中如何节能