视频监控系统中数据的存取优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhao7788
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对公共安全越来越重视,视频监控系统在安全防范领域的作用日益突出。现代的视频监控系统需要存储海量的数据,包括视频数据和小文件数据(关键帧、运动物体截图)等,对这些数据进行高效的存取是非常重要的。基于Hadoop分布式框架对海量的视频监控数据进行存储和处理。Hadoop在对海量的视频监控数据进行存储和处理的过程中存在两个问题:其一,OpenCV没有提供解析二进制视频流的接口,导致对视频进行分布式处理时视频的读取性能较差。其二,分布式文件系统对于大文件的流式访问效率非常高,但是对于小文件的存取性能非常低下。根据OpenCV解析本地视频文件的原理,通过将二进制视频流顺序传输到解码包的缓冲区中,调用解码器对解码包中的数据进行解析,实现了二进制视频流的解析和视频的读取优化,以减少Map任务的执行时间。在分布式文件系统中增加小文件的处理模块,利用视频监控系统中小文件存取的相关性及连续性的特点,将系统中的小文件合并成大文件进行存取,以提高小文件的写入性能;采取两级元数据机制以减少元数据节点的内存占用,有效的利用数据节点的内存:在元数据节点中保存小文件的一级索引信息,在数据节点中保存小文件的二级索引信息;另外在数据节点中采用分布独立式缓存结构,利用小文件数据存取的连续性,对文件数据进行缓存预取,以提高小文件的读取性能。实验表明,基于二进制流的解析方法的视频解析速度比现有的方法提高了10%~30%;对于视频监控系统中的小文件,相比于原生的HDFS,改进后的HDFS的小文件写入速度整体提高了57%~62%,读取速度提高了10%~13%,元数据节点的内存使用整体减少了5%~12%。
其他文献
通用即插即用(UPnP)是由一系列协议组成的协议簇,它使用简单服务发现协议(SSDP)来控制设备加入和离开网络,使用超文本传输协议(HTTP)保证应用层通信,使用扩展标记语言(XML)和简
电子商务的迅速发展使得越来越多的用户喜欢在网上购买商品,用户在购买商品时通常喜欢参考别的用户对该商品的评论,来判断该商品是否适合自己。目前很多电子商务网站都有商品总
脑电信号包括头皮脑电信号、颅内宏电极脑电信号和颅内微电极脑电信号三种类型。这三种脑电信号经分解得到的源信号依次更精细,更接近于神经元。目前大多数专家将研究焦点集中
计算机集群的广泛应用给人们带来方便的同时,也带来了能耗问题,如何有效地利用能源,降低不必要的能耗已成为一个迫切需要解决的关键问题。作为目前最热门的海量数据处理框架,Hado
在无线通信技术飞速发展、无线业务需求日益增大、频谱“不足”与“浪费”并存的时代背景下,认知无线网络(Cognitive Wireless Network)被认为是解决频谱资源供求矛盾的核心架
在处理计算机问题时,现实中遇到的数据一般都是高维度的,存在很多不相关的冗长特征。这为现实问题的解决带来了一定的困难。人们研究出了特征选择算法,以此提高算法选择的准
随着网络信息时代的高速发展,文本信息在网络上的数量越来越多,并且其数量正在以不可估计的速度增加。面对数量如此巨大的网络文本信息,如何从中获得对用户有用的信息是当今
自动乘客计数算法作为智能公交系统中的关键技术,一直以来都是国内外学者研究的重点。该技术一般应用于公交、地铁以及商城等客流密集的场所,其统计结果可为决策者提供实时的客
近年来伴随着网络的遍及,网络犯罪率的增长速度十分惊人,而在计算机安全领域有这样一个全新的分支——网络取证,受到了越来越多的关注。对于网络犯罪案件,需要采用有效的工具
随着信息技术的迅猛发展,信息的重要性和价值不断地增长,因而对于存储系统的可靠性、可用性提出了更高的要求。目前,磁盘阵列已经成为构建大规模存储系统的基本组成单元,磁盘阵列