论文部分内容阅读
在大数据时代,针对大数据采集、管理、计算、分析和展现等各个处理环节的研究始终是相关领域的热点问题。其中,大数据应用程序在访存过程中体现出自身特征,尤其是重用性特征。然而,传统的页面置换算法置换策略固定,无法感知大数据应用的访存特征并做出置换策略上的相应调整。这就造成了具有重用性特征的大数据应用程序更容易发生页面“抖动”现象,并可能随着数据量的增大愈发严重。传统页面置换算法与大数据应用访存特征不相适应,改善这一问题的方法主要有两类。一类是自适应的解决方案:在系统中预置若干传统页面置换算法。当执行应用程序时,系统根据程序的访存特征进行判断,自动选择当前执行效率最高的页面置换算法。但是,这种方案仍然没有从根本上改变传统页面置换算法置换策略固定的局限性。另一类是针对特定应用的解决方案:根据特定应用的访存特征,建立数据处理模型,包括新的数据组织形式和置换算法两个方面。这种方案往往需要静态分析,但是灵活性和通用性都比较强。本文就是以针对特定应用的解决方案作为研究思路,主要做了以下三个方面的工作:第一,提出面向大数据应用的数据对象页框架DOOP。该框架以传统的内存页面管理为基础,添加了一个新的页面组织管理层,用来感知大数据应用程序中特定数据结构在访存过程中的重用性特征。DOOP采用面向对象的思想,将具有重用性特征的数据结构组织成数据对象的形式,并且设计了数据对象页的置换机制及其统一接口。第二,提出了基于数据对象页模型的数据对象页面置换算法。传统的页面置换算法在已经不能完全适应大数据应用程序访存特点的同时,也无法适应新的数据对象页的组织方式。因此,本文对数据对象进行了形式化定义,并且设计了一种用户执导的非固定大小动态对象页置换算法。第三,以典型大数据应用程序k-means为例,演示了数据对象页模型及其相应页面置换算法的工作过程。使用模拟程序,验证了数据对象页模型的可行性,通过与LRU传统页面置换算法的性能相比较,也显示了数据对象页面置换算法的性能优势。