论文部分内容阅读
对于环境噪声的监测分析在噪声污染控制与治理中有着重要的应用。环境噪声数据随着监测终端的发展呈爆炸式增长,给环境噪声数据的汇总、统计分析、存储、应用等都带来巨大挑战。传统的环境噪声监测与分析已经满足不了应用需求,需要与当前先进的大数据处理方法结合以实现环境噪声数据的应用。环境噪声具有数据源复杂、结构相异等特点,所以在数据的存储上不能采用传统的关系型数据库。由于数据的应用包括了噪声数据的实时应用和历史数据统计,所以在大数据处理框架的选择上要满足实际应用的需求。在此背景下,对环境噪声数据特性进行分析后,通过对Storm实时计算、Hadoop内部任务处理机制以及HBase非结构化数据存储技术的研究,提出了相应的环境噪声监测分析方案。本文的主要工作如下:1.提出基于混合架构云平台的环境噪声监测分析系统的总体架构,架构采用Storm平台实现环境噪声的实时处理,采用Hadoop中的HBase实现噪声数据的存储以及MapReduce编程实现历史噪声数据批处理。将实时处理与批处理方法以及分布式数据存储结合,实现噪声数据的高效计算及存储管理。2.在分析了环境噪声数据的特性及其应用需求后,提出了基于HBase的环境噪声数据的分布式存储方案,并对HBase使用过程中存在的一些问题提出相应的解决方案。首先设计了可解决环境噪声数据存储“热点”问题的噪声数据表行健结构;然后针对HRegionServer故障时的恢复措施提出了相关的优化方法,实现HRegionServer故障时快速恢复;最后对HBase的协处理器进行了研究,设计了针对列查询的快速数据检索的二级索引表。3.针对环境噪声预测模型GM(1,1)提出新的改进方法,并对该新模型基于噪声数据进行实验,结果表明提出的改进模型相比传统GM(11)预测模型在预测精度上有较大优化,预测精度满足实际应用要求。4.最后根据用户需求及噪声数据的应用需求设计基于Web的环境噪声数据应用及管理系统。将GIS技术应用到本系统中,实现实时环境噪声数据在GIS地图中实时显示;针对系统中历史数据的计算结果,借用EChart技术进行图形化展示。