面向大数据应用的数据对象页模型研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:lzslzs2002
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,针对大数据采集、管理、计算、分析和展现等各个处理环节的研究始终是相关领域的热点问题。其中,大数据应用程序在访存过程中体现出自身特征,尤其是重用性特征。然而,传统的页面置换算法置换策略固定,无法感知大数据应用的访存特征并做出置换策略上的相应调整。这就造成了具有重用性特征的大数据应用程序更容易发生页面“抖动”现象,并可能随着数据量的增大愈发严重。传统页面置换算法与大数据应用访存特征不相适应,改善这一问题的方法主要有两类。一类是自适应的解决方案:在系统中预置若干传统页面置换算法。当执行应用程序时,系统根据程序的访存特征进行判断,自动选择当前执行效率最高的页面置换算法。但是,这种方案仍然没有从根本上改变传统页面置换算法置换策略固定的局限性。另一类是针对特定应用的解决方案:根据特定应用的访存特征,建立数据处理模型,包括新的数据组织形式和置换算法两个方面。这种方案往往需要静态分析,但是灵活性和通用性都比较强。本文就是以针对特定应用的解决方案作为研究思路,主要做了以下三个方面的工作:第一,提出面向大数据应用的数据对象页框架DOOP。该框架以传统的内存页面管理为基础,添加了一个新的页面组织管理层,用来感知大数据应用程序中特定数据结构在访存过程中的重用性特征。DOOP采用面向对象的思想,将具有重用性特征的数据结构组织成数据对象的形式,并且设计了数据对象页的置换机制及其统一接口。第二,提出了基于数据对象页模型的数据对象页面置换算法。传统的页面置换算法在已经不能完全适应大数据应用程序访存特点的同时,也无法适应新的数据对象页的组织方式。因此,本文对数据对象进行了形式化定义,并且设计了一种用户执导的非固定大小动态对象页置换算法。第三,以典型大数据应用程序k-means为例,演示了数据对象页模型及其相应页面置换算法的工作过程。使用模拟程序,验证了数据对象页模型的可行性,通过与LRU传统页面置换算法的性能相比较,也显示了数据对象页面置换算法的性能优势。
其他文献
面向服务的体系结构因其固有的松散耦合与互操作性,成为许多企业应用的自然选择,而Web服务是当前实现面向服务体系结构非常优秀的技术,同时作为构架企业级系统的J2EE组件技术
汽车牌照智能识别技术研究与实现一直是现代化交通发展中倍受关注的问题,也是制约交通系统智能化、现代化的重要因素。本文在分析目前有代表性的车牌定位和识别方法以及图像处
Internet作为一个典型的复杂网络实例,关于其宏观拓扑结构特征的分析及建模的研究是目前受到学术界广泛关注的热点问题,对网络的应用、发展以及下一代网络建设都具有重要意义。
目前,网络环境中部署的网络安全设备种类繁多,但是,这些设备相互孤立,造成采集上来的安全事件也是孤立的,缺乏集中管理,导致网络管理员很难快速的判断出影响或破坏网络性能和
微电子技术、计算机网络技术和无线通信等技术的发展大大推动了低功耗多功能传感器网络的快速发展。正是因为具有感知能力强、成本低、部署方便、自组织等特性使、得传感器网
随着三维模型的广泛使用和传播,如何在大量的三维模型中高效地检索需要的模型已经成为一个迫切需要解决的问题。目前,基于关键词的三维模型检索方法已经无法满足设计和使用的
近年来,铁道部建设了一大批与铁路运营生产直接相关的信息系统,这些信息系统在铁路信息化建设的快速进程中发生了质的变化,各信息系统逐渐由独立、封闭的系统走向在各应用层面信
当前,监理制度在国际上已成为工程建设组织管理体系中的重要环节。在我国,监理制的实施是对传统工程管理体系的改革。由于现在工程监理主要依靠有丰富经验的监理人员亲自在现
本文首先介绍视频监控系统的发展历程。在分析和比较各阶段视频监控系统优缺点的基础上,认为未来的视频监控系统必将是集数字化、网络化、集成化和智能化为一体的综合系统,而以
随着移动通信的利润增长点渐渐地从话音业务转向数字业务,各种移动增值业务层出不穷,而移动支付就成为其中的一个亮点。移动支付是电子商务的重要组成部分,是实现电子商务的