论文部分内容阅读
实时车辆监管系统是一种用于对在城市道路上行驶的车辆进行实时监控和管理的系统,是城市道路交通管理的重要工具。
随着监控范围的不断扩张,原有集中式的数据处理方式已经无法满足实时车辆监管系统各方面的要求,包括:应对不断增大的数据负载,持续不间断的稳定运行,保证状态敏感车辆检测应用的数据可靠性,能够快速、方便的添加新的车辆检测应用。本文针对以上需求,设计和实现了一种分布式数据流处理系统StreamX,它具有可扩展、高可用、编程接口简单、数据可靠等特点,很好的满足了实时车辆监管系统的需求。
本文的主要研究内容和贡献如下:
1.针对需要应对不断增大的数据负载以及持续不间断的稳定运行等需求,本文为StreamX系统设计了一种去中心化的分布式结构,集群中所有节点地位相同,不会出现单点故障,保证了系统的高可用性。与此同时,针对车辆监测数据互相没有依赖的特点,StreamX系统采用数据并行的方式对数据进行并行处理,当负载增加时,可以很容易的增加新的节点来分担负载,使系统具有良好的可扩展性,在车辆监测数据负载比较均衡的情况下,处理性能随着计算节点数量的增加而接近线性增长。
2.针对需要快速、方便的添加新的车辆检测应用这一需求,StreamX系统为开发人员提供了简单的应用编程接口,开发人员只需要实现数据处理的串行逻辑,不需要关心分布式系统的底层细节。
3.针对状态敏感的车辆检测应用对数据可靠性的要求,本文提出了一种基于Passive Standby和分布式内存的数据备份及恢复方案,该方案在保证数据可靠性的同时,并不会给StreamX系统带来过大的性能损失,通过设置合理的checkpoint(检查点)频率,性能损耗可以被控制在8%左右。
通过测试可知,本文所设计和实现的数据流处理系统StreamX具有良好的可扩展性,在车辆监测数据负载比较均衡的情况下,处理性能随着节点数目的增加而接近线性增长。在数据可靠性性保证方面,本文所提出的数据备份及恢复方案能够保证在节点出现异常时,异常节点的数据不丢失,并且不会给系统的处理性能带来过大影响。