数据流的无阻塞连接算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:imoogi8406
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据流是近年来数据库技术发展的一个重要领域。数据集成系统将不断由远程终端产生的数据,通过网络传送到本地做进一步处理。其中数据流上的连接操作是数据流查询的支撑技术,应用范围十分广泛。由于数据流环境下的数据大小可能远远超过内存存储能力,所以难以得到全部结果解。加上网络中存在的不稳定性,使得数据到达本地经常出现阻塞现象,从而使得结果不能持续性的生成。而交互式和实时系统往往要求结果的精确性和无阻塞的持续产生。对于内存有限时的数据流连接,可以借助于外存达到无阻塞的得到精确结果的目的。在网络中断时,将外存数据作为数据源,通过执行外部连接来保证结果产生的无阻塞性,这种渐进式的连接方式还可以得到精确结果集。将一个完整的数据块作为外部连接的事务单位是一种通常的方法,但在数据流连接的中后期,随着交换到外存的数据增多,数据块的势也会相应增大,要在有限网络中断间隔时间内启动外部连接越来越困难。根据不稳定网络中存在的长尾效应,将外部连接的事务单位细化,即采用细粒度的外部连接单位的方法,充分利用有限的中断时间,使得在数据流的中后期也可以有效启动外部连接。将经典的无阻塞连接算法中的事务单位分为多个子任务处理,这种细粒度的方法可以有效提高在线结果产生数。为减少外连趟数和有效利用有限剩余内存空间,对外存块采用了改进的替换选择树进行排序连接。还通过减少内存冗余字段,使用一种执行时间和产出结果估计的成本估测等方法来提高连接结果数。空间数据流的连接方法与等值连接不同,由于涉及连接范围上的交叉连接,对应连接块所在的数据块号可能不一致,采用以往的等值连接的方式在空间数据连接中并不适用。提出一种基于空间数据流的无阻塞连接算法。采用基于结果统计的方法进行理论建模,设计一种高效的交换策略用于网络不稳定时的内存管理,设计代价估算公式作为不稳定网络下的数据连接的策略。非周期性数据流连接往往需要根据走势特征来确定预期分布,但如何确定数据块的分布走势,如何在数据流下动态划分数据块都是研究的重要问题。提出一种变换高斯分布下的数据流连接算法。通过采样统计确定当前高斯中心点,并以此为中心划分数据块。将已确定的数据连接块作为元数据来描述预测方程,从而得到高效的内存交换策略。
其他文献
本体间的逻辑差问题在本体维护中占重要地位,对于本体工程师理解本体不同版本间表达含义上的差别有重要的帮助作用。这是一个新兴的研究领域。本文研究了本体间的逻辑差问题,
结合工程地质及水文地质条件,通过深入分析地铁隧道外地层温度对距离(深度)和时间的梯度的解析解,揭示出岩土含水量对热扰动传播的影响。结合水文地质学达西定律,指出地下水
本文对内源光学数据的时空分析方法及低频自发振荡信号的时空模式做了深入研究。提出了利用时间兼空间结构信息进行脑成像数据盲源信号分离的思想。其基本假设为:相对于噪声,
改革开放以来,我国区域经济差距问题不断突出。为了避免因地区差距过大而引发各种严重经济社会问题,国家日益重视推动区域经济协调发展,先后出台了西部大开发、东北老工业基
习近平新时代中国特色社会主义思想是从中国的实际出发,对中国改革开放和社会主义现代化建设的实践经验进行科学总结,为广大发展中国家在保持自身独立性的前提下实现发展提供
伴随着我国法治政府建设步伐的不断加快、医疗卫生环境的不断变化,医疗体制中行政指导行为的合法性与合理性已成为医疗体制改革的重要内容。目前,我国行政指导理论尚不完善,
随着CPU芯片上集成的计算核心不断增加,计算机系统峰值性能不断攀升。近年来,多核处理器已经占据桌面,众核处理器即将普及。但是应用程序的并行开发远远滞后于硬件的发展,大
这一研究揭示:自从二十世纪六十年代以来的新政治时代,美国的利益集团围绕着支持自由贸易和贸易保护的斗争而进行的政治游说活动。通过代价高昂的大量和多样化的游说活动,传统的