论文部分内容阅读
随着城市视频监控系统的规模不断扩大,安防视频监控系统技术的不断进步,传统文件系统已无法满足海量监控视频流数据的存储需求。为解决城市级视频数据存储与检索难题,视频监控存储系统开始广泛采用分布式云存储方案。与单机文件系统相比,兼具低成本、高性能、易扩展等特性的分布式存储系统无疑具有很大的优势。面向海量高清监控视频流的存储系统具有写密集的特点,系统要提供无间断的写入服务,大量的元数据操作对系统的性能、安全性、并发性提出了极高的要求。因此,元数据管理系统在整个分布式系统中扮演着重要的角色。本文以自行开发的面向海量高清监控视频流的分布式块文件系统DBFS为背景,设计并实现了其元数据管理子系统,具体内容如下:1.在数据存储方面,本系统采用逻辑卷结构将非结构化的视频流数据转换成为块数据进行存储。这种方案有效的提高了磁盘的写入带宽,避免因磁盘随机读写而产生大量磁盘碎片,从而导致存储性能下降;2.在数据可靠性方面,将单台元数据服务器节点扩展为集群形式,有效避免了单点故障。元数据服务器集群内部采用Raft协议进行协调,通过选主操作、日志复制等功能,实现集群中各服务器之间的状态同步与数据同步,以此来保证集群中元数据的一致性,这种方案有效提升了元数据管理子系统的安全性和健壮性;3.在系统调度方面,本系统针对视频流数据特异性强的特点,采用了自适应负载均衡的调度策略,先对每个任务所需的存储空间进行预判,然后与磁盘的剩余空间大小作比,选取比值最小的节点进行任务下发。通过这种调度策略能保证数据存储集群节点间的负载均衡。DBFS元数据管理子系统的功能测试结果表明,本系统能够提供对卷元数据与存储节点元数据的管理功能,还满足了元数据管理子系统需对数据存储节点进行有效调度这一需求,同时也达到了系统内部数据一致性与系统高可用性的设计目标。性能测试通过网络I/O与CPU利用率这两项指标对系统的性能进行衡量,结果表明本系统具有较高性能。