论文部分内容阅读
在智慧城市建设的浪潮下,全国各个城市已基本形成覆盖全市的城市视频监控系统网络,智慧安防、人脸身份认证已全面铺开。基于人脸识别技术的智能监控系统中需要处理庞大的图片流数据,所以现有的系统普遍采用分布式系统架构。然而在这样的架构下,系统中存在多节点和大量的元数据操作,如何保证系统中元数据的一致性使得节点对外提供一致的服务,显得尤为重要;而且,系统中需要处理大量的计算请求,如何根据物理机的实际负载状况进行合理的调度,从而达到负载均衡的问题依然突出;此外,在硬件故障、网络异常等复杂条件下,分布式系统中不可避免会出现节点故障,如何保证数据安全,使系统具备较强的容错性也亟待解决。因此,如何在分布式系统上提供一种元数据管理服务,来保证系统数据的一致性、可靠性和高吞吐量,是本文需要解决的关键问题。本文以自行开发的人脸识别系统为背景,设计和实现了其中的子系统,即分布式元数据管理系统。并详细阐述了该系统涉及到的理论基础、设计方案、实现过程及测试分析。论文完成的主要工作如下:1)在数据一致性方面,元数据服务器节点采用一主多从的集群管理方式,将单个元数据服务器控制节点升级为多个同构节点的服务器集群,解决了单点故障问题。同时集群内部通过raft协议选举出主节点对外提供服务,并通过日志复制保障集群内部元数据的一致性。在集群外部,不同模块之间采用时间戳策略保障系统间元数据的一致性。2)在任务调度方面,采用改进版加权最小连接数任务调度算法。针对客户端的任务请求,负载主机会定时搜集负载集群下服务器的资源使用情况,并将采集到的资源使用数据作为权值因子之一,动态的计算每台服务器当下的负载能力,从而更准确地计算出每台服务器的实际承载能力,以此来提高整个系统资源的利用率。3)在数据可靠性方面,数据存储服务器采用多副本冗余的策略,在不同物理节点上存储多个副本,当数据存储节点出现故障时,系统可自动进行数据恢复。本文实现了一个轻量级的分布式元数据管理系统。通过对该系统进行功能测试,元数据管理系统达到了系统数据一致性和可靠性的需求;通过对改进的加权最小连接数算法进行性能测试,有效提高了系统的吞吐量。