面向海量数据处理的层次式流处理的研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:neoo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,数据流这种新型数据形式在很多领域得到广泛使用。在一些实际问题中所遇到的数据流的规模也越来越大,在现有软硬件条件下,已有的数据流管理系统已经难以满足海量数据流的处理要求。因此,对已有的流管理系统进行研究和改进,使之在功能和性能上有所突破,更好的应对海量数据流处理的要求,成为当今一项紧迫的课题。本文基于现有的TelegraphCQ系统,当输入数据的规模超出系统的CPU处理能力时,搭建层次式流处理系统,让多个TelegraphCQ系统并行处理输入的数据,来实现对海量数据流的有效处理。论文的主要内容有:1.在分析和综合了数据流的研究现状和TelegraphCQ系统的原理、结构的基础上,阐述了海量数据流处理所面临的CPU瓶颈问题,提出了依托TelegraphCQ系统搭建层次式流处理系统的方法。2.详细分析了层次式流处理系统的基本原理、功能和其设计原则与设计思想,并详细说明了层次式系统的工作流程。3.研究了系统所涉及的主要算法,分析了各种算法的优缺点。4.说明了层次式系统中各个功能模块的详细设计与实现,分析了模块之间协同工作的原理和过程,并给出了系统在海量数据流处理过程中的详细执行步骤。5.对系统进行了功能测试和性能测试,并对测试结果做了简要说明。论文的研究表明,在现有条件下,采用基于TelegraphCQ的层次式流处理系统能够实现对海量数据流的有效处理,并返回用户所期望的查询结果,从而在一定程度上缓解了海量数据流处理所面临的CPU瓶颈问题。
其他文献
学位论文主要指博士、硕士研究生为取得相应的学位资格而提交的学术论文。学位论文尤其是博士学位论文具有较高的学术价值和实用价值,是人们了解学术动态、掌握科技信息、研究
<正> 三、发展植物抗病性和耐病性的新概念 经典的抗病育种概念是从遗传学中派生出来的。染色体带着各种基因的相互组合使成为育种的基础。抗病育种已经给农业生产带来了巨大
<正> 作物单叶面积的测定对于冠层结构的分析用处很大,因为它有助于确定垂直平面上的叶面积指数的构成。这些资料对于建立叶片生长模型和确定个体发育时冠层中不同层次的光合
100多年前,学者就已发现了植物根内生有真菌。目前,已在多种植物根部发现有同植物共生的真菌共生营养体。特别是在100多年的过程中,进一步探明了植物根合成氨基酸、植物激素
翻开书本、报纸、杂志,打开电视、电脑,铺天盖地皆是影像,离开影像媒介人类简直就不知道怎样以更有效的方式传播信息.甚至有专家惊呼:无处不在的影像正侵害人们的逻辑思维能
君到姑苏见,人家尽枕河.古宫闲地少,水港小桥多.夜市卖菱藕,春船载绮罗.遥知未眠月,相思在渔歌.
背景:在第二跖骨和内侧楔状骨之间的3条韧带中,Lisfranc韧带最强壮,其强度是背侧韧带的3倍,所以Lisfranc韧带对于维持第2跖骨和内侧楔骨之间的稳定至关重要,但单纯Lisfranc韧
真菌(Fungi)能产生多种次生代谢物,包括色素、抗生素和一系列毒素。真菌产生的这一系列毒素或毒性物质就称为真菌毒素(Mycotoxin)。其中对动物有损害的称为动物毒素(Zootoxin
<正> 3月26日至4月1日,国家档案局局长、中央档案馆馆长毛福民率领国家档案局档案行政执法检查组到浙江省检查工作。在浙江省人民政府副省长陈加元的主持下,检查组听取了省档