论文部分内容阅读
智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务(SOA)架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享平台,通过设置统一的数据接入标准,实现数据的自动采集、交换、存储,屏蔽底层数据源格式和数据源类型,通过任务调度管理配置数据交换任务调度策略,减轻数据交换带来的内存、CPU消耗,并通过元数据管理,提供血缘分析、元数据视图呈现服务,挖掘数据价值,实现“数据即资产”。主要成果如下:(1)建立一套数据交换标准,实现数据从采集、交换、清洗加工全管理流程。打破地域、数据存储、数据格式限制,为智慧城市建设提供强有力决策支持。针对异构数据源类型,提供相应的数据库读写插件,通过统一的数据交换二进制通道完成数据交换任务。(2)支持分布式任务,将调度模块与执行模块分离,通过RPC进行通信,提供多种路由策略和失败处理机制,调度器在指定触发时间选择执行器开始执行数据全量和增量数据交换任务。(3)支持数据实时推送共享,通过监控数据库Binlog文件,解析数据流写入到Kafka中,向订阅Topic的下游消费者推送数据,实现各级部门间数据互融互通。提供元数据信息管理,支持血缘分析,元数据视图呈现,可对数据库表、字段、分区进行修改。(4)对本文所设计的数据交换和共享平台的功能和性能进行测试证明,通过实验验证本系统的可行性。