数据流管理系统中的概要数据结构算法的研究和实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:hncry
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,在金融服务、网络监控、电信数据管理及传感器检测等领域中,出现了一类新的数据密集型应用。这类应用的特征是:数据以大量、快速、时变的数据流形式持续到达,所以数据不宜用持久稳定关系建模,而适合用数据流建模。论文在研究目前国际上最新的数据流管理技术的基础上,介绍了东南大学自行开发的基于硬件预处理器的数据流管理系统原型SEIJSTREAM的体系结构和一种可以支持对数据流上进行持续查询的查询语言X-SQL。 在很多实际应用中,例如决策支持系统、查询优化等,用户并不需要获得确切值,而仅需要一个近似值。因此,设计单遍扫描算法(one-pass algorithm),实时地给出近似查询结果就成为数据流模型下数据处理的目标。算法的关键在于设计一个远小于数据集规模的结构,从而可以在内存中处理数据。相对于数据流的规模而言,这种名为概要数据结构(synopsis data structure)的规模至少是次线性的。 小波变换大纲作为高效的数据压缩还原技术引起了数据流领域的高度关注。论文详细介绍了哈尔小波的变换过程,并且引入了误差树的概念对这个变换过程进行了详细的分析。在此基础上实现了用哈尔小波方法生成概要数据结构的算法,选用了不同的固定阈值并进行了性能测试,实验表明不同的压缩率导致了重构数据与原始数据存在一定的误差。同时基于测试结果分析了固定阈值方案的不足之处,数据重建的质量变化很大,并且对于单独的近似解答缺少特别的质量保证。在此基础上提出并实现了基于概率的可变阈值的小波变换,比较好地解决了这个问题。
其他文献
通信网络正以前所未有的速度在发展,网络本身也日益庞大和复杂。一套完整、先进的通信网络管理系统对提高通信网络的效率以及为使用者提供良好的服务质量,显得尤为重要。目前
近年来,随着直线运动领域的增多,直线电机日益受到人们的重视。直线电机研究开发很快,其结构设计、控制理论和电机原理等方面都有了很大的进展,并已应用到国民经济的多个领域,很多机械的直线运动均由直线电机完成。它是一种很有发展前途的新型电机。随着容量不断上升及应用场合的特殊性,它的发热问题日益突出。因此,准确地计算其发热为设计和控制直线电机提供了必要的理论依据。本文所介绍的圆筒型直线感应电动机常用于短行程
图像半色调技术是指用少量的色彩将一幅连续色调图像(如灰度图像和彩色图像)量化为一幅二值图像或是只有少数几种色彩的彩色图像,并且量化后图像在一定距离的视觉效果和原始
本文主要研究了增强现实系统中的三维注册技术,它所要完成的任务是实时地跟踪用户头部的位置和视线方向,根据这些信息确定所要添加的虚拟物体在真实空间坐标中的映射位置,并将它
随着企业信息化程度的不断深入,企业与企业之间、企业内部各部门之间的信息共享越来越频繁。但由于不同企业信息化建设的程度及方式存在很大差异,使各信息系统间的数据交换产
远程在线监测系统应用计算机网络、信息集成、专家系统等多门学科的综合技术,通过Internet网络在异地实现对现场设备实时监视,并根据监测数据进行故障的预警和诊断,并为预维修提
中医学有几千年的历史,是我国传统文化的一颗璀璨明珠,在我国文明发展历程中占据着重要的位置。中医学理论的精华在于其能从整体观念上进行辩证论治,这套理论是无数从医者智
人脸识别技术应用背景广泛,可用于身份识别、人脸的视频检索以及人机交互等诸多领域。这些巨大的应用前景使得人脸识别技术越来越多的成为当前模式识别和人工智能领域的一个
随着网络技术、信息技术的发展,工作流技术日益成为当前信息领域的一个焦点,并成为办公自动化系统的核心技术之一。笔者通过对工作流的基本理论和建模技术的深入分析和研究,
本文对入侵检测系统中高效模式匹配算法进行了研究。文章首先分析了入侵检测系统中常用的模式匹配算法,并通过实验方法对BM算法、AC算法和WM算法进行了性能对比,讨论了这三个算