基于Hadoop的公安系统信息存储平台

被引量 : 0次 | 上传用户:gyquan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化水平不断提升,在公安部门内部,各种数据信息、文件、视频资料都需要存储。各个部门都购买存储设备用于存储这些数据资源,昂贵的存储设备的购买加大了运营成本,而且又无法满足存储资源的共享需求。因为存储设备的地理位置分散,要实现数据资源共享,就必然要利用网络实现数据传输,网络信息存储系统已经逐渐成为公安部门高效运作的一个核心技术平台。但是由于网络的各种不安全、不稳定因素和公安系统部门的工作特性,网络信息存储系统就需要具有很高的工作性能,其中包括安全的数据访问、稳定的数据传输和存储扩展能力。因此如何对已有的存储设备进行整合利用,提供一个节约资源又安全可靠的信息存储平台成为公安系统面临的一大难题。云存储由分布式文件系统、网络传输、集群应用、虚拟化存储等技术构成,把分布在网络上的各种存储设备整合成为一个资源池,作为一个服务体系对外提供统一的接口。采用云存储技术以后,对于用户来说,就不单是使用某个具体的存储设备,而是分布在网络上的多个存储设备的集合体。这样不仅可以有效整合存储设备资源,还可以提高存储的便捷性和资源共享。Hadoop就是一个能够对大量数据进行分布式处理的云存储软件框架,提供了一种安全可靠、高效、可伸缩的方式存储数据。本文分析了公安系统部门的资源存储状况,同时分析了云存储的现状和Hadoop的架构,然后深入的研究了系统内部的工作原理和功能特征,在此基础上,提出了一个基于Hadoop的信息存储系统方案。信息存储系统的底层是Hadoop分布式文件系统,这个文件系统将一个大文件分割成为了若干个数据块,分别存储在保存数据的数据节点上。由于每个数据块都有若干个相同的副本数据块,所以当数据块发生错误的时候,系统会自动的用另外一个完整的数据块副本取代当前出错的数据块,同时将出错的数据块上报给名字节点进行处理,这种机制保证了系统中数据的完整性。与传统的信息存储系统不同,基于Hadoop的信息存储平台的用户是分散在各个不同地方、不同部门的,用户在上传数据资源的时候,都储存在了一个共同的海量的存储池里面。当用户需要查找需要的资源时,可以自由的从存储平台中下载下来,就省去了传统的信息沟通不畅和数据时效性问题。信息系统部署在了基于Linux操作系统的机器集群上,默认的操作管理接口是命令行方式的,如果不是专业的人员,就很难掌握操作。该系统主要利用Hadoop实现存储层的技术支撑,用户层采用Web开发相关技术实现用户与存储层进行交互。最终为工作人员提供友好的接口来访问系统,工作人员在不需要了解底层技术细节的情况下,就可以使用一个基于云存储的信息存储系统。
其他文献
本文对河南省安阳市北关区开展"一事一议"规范管理过程中的主要做法进行总结,北关区规范管理办法,创新议事形式,创造和积累一些好的做法与经验。在此基础上,本文指出其中存在
从播种前准备、播种与施肥、定植、田间管理、病虫害防治等方面,介绍大棚黄瓜种植技术。
教学的文化研究,即运用文化学的理论与方法来探讨教学现象或教学问题,它不仅在理论层面为教学研究提供了一个新的学科视角的支持和论证,而且在实践层面有助于诠释教学场域中
科学数据在科学研究第四范式的研究时代被视为具有重要的科研价值,科学元数据在数据管理生命周期中的重要作用也逐渐受到重视。大量的科学数据亟需专门且具有统一标准的元数据
管道运输以其经济、便捷、安全等优点被广泛应用于石油管道运输中。随着输油管道使用年限的增长、自然腐蚀或人为因素的破坏等,管道泄漏事故频发。管道泄漏影响正常的生产,造成
超净高纯试剂是集成电路和分立器件制作过程中的关键性基础化工材料之一,主要是用于芯片的清洗、腐蚀及晶圆的清洗。本文主要是介绍如何建立一套可靠的,关于高纯氢氟酸中痕量阴
<正>5月20日,江淮汽车迎来50周年华诞。从1964年巢湖汽车配件厂正式成立到1968年安徽省第一台汽车在江淮汽车厂诞生;从1990年中国第一台客车专用底盘在江淮汽车研制成功,改变
文章概述了微生物法回收印刷线路板中金属的研究进展,包括常用的菌种、浸出机理、影响因素等内容,阐述了微生物法回收印刷线路板中铜等普通金属的国内外研究现状,重点讨论了
外来工子女作为经济社会发展过程中出现的特殊群体,由于地域的变迁,社会文化、经济、政治、教育等对其的不利影响,使他们身心健康的顺利发展受到了很大的影响。因此,探讨他们在不
利用空气质量监测及气象观测数据,对2013年12月初南京市持续重污染天气特征及成因进行分析,结果表明:此次过程表现出污染程度重、持续时间长及细颗粒物占比大等特征,其中PM2.