论文部分内容阅读
随着计算机和网络技术的不断发展以及相关技术的进步,信息系统在制造、运输、金融、IT等各行各业得到了广泛应用。待处理数据量的飞速增加,使得传统数据管理技术难以适应新形势下的应用需求。近年来数据流管理技术,包括数据流管理系统的构建、优化、数据流挖掘等得到了密切关注。论文讨论了数据流系统的基本结构、工作原理、实现方法、特点以及其主要应用领域,针对由单位时间内输入系统的数据单元数量变化引起的处理器过载问题,探讨了负载管理系统模型的构建方法,并对负载平衡、Load-shedding、摘要生成等关键技术进行了深入研究。论文主要研究内容如下:(1)提出了基于双层重叠结构的负载平衡算法。针对分布式数据流系统对负载平衡可扩展性和易恢复性的需求,对负载平衡技术进行研究,提出了一种基于双层重叠结构的负载平衡算法,该算法可以满足Internet环境下紧耦合分布式数据流系统进行负载平衡的需求。(2)提出了基于分支路径分析的Load-shedding算法。针对以聚合类查询操作为结尾,包含多条输入数据流,多查询结果的连续查询网络的降载问题,对Load-shedding技术进行研究,提出了基于分支路径分析的Load-shedding算法。在此基础上进一步研究了该算法在输入数据单元具有不同权重、以非聚合类查询操作为结尾这两种情况下的改进推广,扩展了算法的适用范围。(3)提出了一种有效数据识别算法。给出了分布式数据流系统中有效数据的概念,将单输入数据流的数据识别技术推广到多输入数据流环境,给出了一种有效数据识别算法,该算法较好地解决了分布式数据流应用中的有效数据识别这一技术问题。(4)针对分布式数据流应用范畴,给出了负载管理系统模型DDSM_LMS。通过分析负载管理系统的设计原则以及对现有负载管理系统结构、功能、运行环境的研究,论文综合考虑多种负载管理技术,给出了负载管理系统模型DDSM_LMS。该模型作为课题组设计的生产现场管理系统的重要部分,在某国防基础预研项目中得到良好应用,提高了数据流系统的实用性能。本文对负载管理技术的研究,为有效应对数据流系统的负载问题提供了