基于微服务的数据交换与共享平台的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:ww5205205220
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务(SOA)架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享平台,通过设置统一的数据接入标准,实现数据的自动采集、交换、存储,屏蔽底层数据源格式和数据源类型,通过任务调度管理配置数据交换任务调度策略,减轻数据交换带来的内存、CPU消耗,并通过元数据管理,提供血缘分析、元数据视图呈现服务,挖掘数据价值,实现“数据即资产”。主要成果如下:(1)建立一套数据交换标准,实现数据从采集、交换、清洗加工全管理流程。打破地域、数据存储、数据格式限制,为智慧城市建设提供强有力决策支持。针对异构数据源类型,提供相应的数据库读写插件,通过统一的数据交换二进制通道完成数据交换任务。(2)支持分布式任务,将调度模块与执行模块分离,通过RPC进行通信,提供多种路由策略和失败处理机制,调度器在指定触发时间选择执行器开始执行数据全量和增量数据交换任务。(3)支持数据实时推送共享,通过监控数据库Binlog文件,解析数据流写入到Kafka中,向订阅Topic的下游消费者推送数据,实现各级部门间数据互融互通。提供元数据信息管理,支持血缘分析,元数据视图呈现,可对数据库表、字段、分区进行修改。(4)对本文所设计的数据交换和共享平台的功能和性能进行测试证明,通过实验验证本系统的可行性。
其他文献
人脸属性识别是计算机视觉和模式识别领域的热门研究课题之一,对人脸图像的分析和理解具有重要的研究意义,同时在图像检索、人脸识别、微表情识别和推荐系统等诸多领域具有广泛的实际应用价值.随着深度学习的快速发展,目前国内外学者已提出许多基于深度学习的人脸属性识别(deep learning based facial attribute recognition,DFAR)方法.首先,阐述人脸属性识别方法的总体流程.接着,按照不同的模型构建方式,分别对基于部分的与基于整体的DFAR方法进行详细地概述与讨论.具体地,对
作为计算机视觉中的热门方向之一,科研人员们在文字识别领域上已经取得了众多显著的成果,并将其广泛运用到真实场景中方便我们的日常生活。目前,虽然传统的OCR技术对于文档文本的识别已经十分成熟,但在自然场景下,由于背景复杂、文字多样,图片文本识别仍然是一项具有挑战性的任务,需要不断地探索和改进。因此,本课题将以场景文本识别作为主要研究内容,针对现存的两大难点提出改进方法。在应用上,本课题则以菜单作为落地
随着经济和社会的快速发展,国内汽车保有量不断增多,给生态环境保护带来了巨大挑战。出于对环境和能源安全的考虑,越来越多的城市开始构建电动汽车充电站网络。电动汽车依赖于公共充电站提供电量,因此能够准确地预测新城市中充电站的充电需求十分重要,有助于运营策略的制定和新站点的部署工作。由于预测新城市的充电站需求存在冷启动问题,本文使用迁移学习将充电需求知识从具有丰富充电数据的城市迁移到新城市。跨城市充电站需