论文部分内容阅读
社会的进步带动安防行业的发展，导致监控视频数据量急剧增长，并超出了单机的处理能力，无法满足用户对视频处理分析的需求。因此考虑利用云计算处理视频数据，通过分布式计算快速挖掘视频中的相关有效信息，依靠廉价的计算机提高视频、图像处理速度，这具有十分重要的意义。主要贡献如下： (1)针对大量视频数据的分布式处理，本文设计并实现了Vidoop(Video Hadoop)：一种基于Hadoop的分布式视频处理框架。Vidoop主要依托Hadoop平台数据并行处理框架的优势，自定义设计了针对视频图像数据处理的数据类型和相关组件，并设计了Hadoop上一种基于关键帧的视频解耦方法，解决了视频在Hadoop上的解码问题，最后通过一种优化的高效的内存共享机制，将人车分类算法融入V-Hadoop，实现了算法与高性能并行计算资源有效融合。 (2)针对大量运动目标图像的检索问题，本文设计并实现了DIR(Distributed Image Retrieve)：一种基于Hadoop的图像检索方法。在DIR中，针对Hadoop处理大量的小文件时非常耗费计算机资源的问题，设计了一种基于顺序文件的大量小文件存储方法，将大量小图片合并存储，避免 Hadoop直接处理大量小图片；设计一种分布式图像特征提取方法，实现并行的图像特征提取，并将提取的各特征存入HBase中，有效提高了图像特征提取效率。利用MapReduce进行并行图像内容检索，按照检索出的运动目标元数据信息定位到所在视频，明显缩短了图像的检索时间。 (3)设计实现分布式视频运动目标图像检索系统，描述了系统的架构，并搭建了Hadoop集群，进行数据集的测试。 实验结果表明，相对于传统的单机数据处理形式，本文提出的基于云架构的视频运动目标检索技术可以有效提高视频图像大数据的处理速度，并减少了图像检索的时间，当检索图像在10000张以上时检索时间减少了近30％，有效提高了检索速度，相较于单机处理更适合处理大数据。