分布式元数据管理系统的设计与实现

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:vivion1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在智慧城市建设的浪潮下,全国各个城市已基本形成覆盖全市的城市视频监控系统网络,智慧安防、人脸身份认证已全面铺开。基于人脸识别技术的智能监控系统中需要处理庞大的图片流数据,所以现有的系统普遍采用分布式系统架构。然而在这样的架构下,系统中存在多节点和大量的元数据操作,如何保证系统中元数据的一致性使得节点对外提供一致的服务,显得尤为重要;而且,系统中需要处理大量的计算请求,如何根据物理机的实际负载状况进行合理的调度,从而达到负载均衡的问题依然突出;此外,在硬件故障、网络异常等复杂条件下,分布式系统中不可避免会出现节点故障,如何保证数据安全,使系统具备较强的容错性也亟待解决。因此,如何在分布式系统上提供一种元数据管理服务,来保证系统数据的一致性、可靠性和高吞吐量,是本文需要解决的关键问题。本文以自行开发的人脸识别系统为背景,设计和实现了其中的子系统,即分布式元数据管理系统。并详细阐述了该系统涉及到的理论基础、设计方案、实现过程及测试分析。论文完成的主要工作如下:1)在数据一致性方面,元数据服务器节点采用一主多从的集群管理方式,将单个元数据服务器控制节点升级为多个同构节点的服务器集群,解决了单点故障问题。同时集群内部通过raft协议选举出主节点对外提供服务,并通过日志复制保障集群内部元数据的一致性。在集群外部,不同模块之间采用时间戳策略保障系统间元数据的一致性。2)在任务调度方面,采用改进版加权最小连接数任务调度算法。针对客户端的任务请求,负载主机会定时搜集负载集群下服务器的资源使用情况,并将采集到的资源使用数据作为权值因子之一,动态的计算每台服务器当下的负载能力,从而更准确地计算出每台服务器的实际承载能力,以此来提高整个系统资源的利用率。3)在数据可靠性方面,数据存储服务器采用多副本冗余的策略,在不同物理节点上存储多个副本,当数据存储节点出现故障时,系统可自动进行数据恢复。本文实现了一个轻量级的分布式元数据管理系统。通过对该系统进行功能测试,元数据管理系统达到了系统数据一致性和可靠性的需求;通过对改进的加权最小连接数算法进行性能测试,有效提高了系统的吞吐量。
其他文献
明溪县位于福建省的西北部,辖属于三明市,福建君子峰国家级自然保护区在其境内。近年来以拍鸟观鸟为主要形式的生态旅游在明溪县快速发展,但鸟类资源的基础数据缺乏,故本文意
从微观的农户受益角度出发,尝试性的构建了干旱区农业节水灌溉技术经济评价的指标体系。并提出相应的评价方法,以期为科学地评价干旱区各种高效农业节水灌溉技术的经济效果提供
乳腺增生病是妇女最常见的乳腺疾病.发病年龄25~45岁居多.1999~2001年我科采用乳癖消配合微波治疗乳腺增生病108例,疗效较满意,现报告如下.
1品种选择宜选择丰产性好、出油率高、抗逆性强、适于密植的杂交油葵品种,如美国迪卡G101、康地5号、新葵6号等。
<正>经过20多年的改革和发展,民营经济逐步克服了基础薄弱和先天不足等劣势,已经成为国民经济中最为活跃的经济增长点和重要的组成部分。如今,民营企业正从发展初期向发展中
半夏,别名三叶半夏、三步跳、麻玉果、燕子尾等,为天南星科半夏属植物。半夏为常用中药,以块茎入药,有燥湿化痰、降逆止呕等功效,主治痰饮呕吐、湿痰咳嗽、气逆、胸脘痞闷、眩晕等
小儿颅脑损伤是常见疾病.由于小儿生理特点,其临床表现与成人不一致,故易被误诊,而延误抢救.尤其是重型颅脑损伤变化快,其救治是当前神经外科的一个重点.1998年1月~2004年6月,
民族的共有精神家园,是民族的凝聚力和生命力的根本所在。构建中华民族共有精神家园是社会主义先进文化建设和精神文明建设的重要内容。因此,党的十七大明确提出&#39;建设中
企业年薪的制定和管理,是企业薪酬制度中非常重要的环节,是企业中高级管理者激励的主要来源,年薪制的科学性、合理性关系着整个企业的运行。本文试分析将现代薪酬管理中的薪
军校门诊部的工作重心是保障以教学训练为中心的各项卫勤保障任务圆满完成,近年来,门诊部根据保障对象的特点,坚持姓军为兵,强化服务保障意识,树立以伤病员为中心的理念。以