并行磁盘系统的预取及缓存技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lllwan1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络、计算机技术的发展以及大规模数据密集型应用的出现,基于并行磁盘的存储系统变得越来越重要,并被广泛应用于各种场合。然而,磁盘性能的提高远远落后于处理器等电子设备,这使得存储系统仍旧是整个计算机系统的性能瓶颈。预取(Prefetching)以及缓存(Caching)是能够提高存储系统性能的两种非常有效的技术。但是,传统的预取以及缓存大多针对单个存储设备而设计,它们很难适应并行磁盘系统。并行磁盘系统无论是在结构上还是访问特点上都为预取以及缓存技术提出了新的挑战。因此,根据并行磁盘系统的特点改进预取以及缓存技术使之适应并有效地提高并行存储系统的性能非常有意义。顺序访问是磁盘访问中最为重要的一种访问模式,因为对磁盘(包括RAID中的磁盘)来说,顺序访问与随机访问之间的性能差距最大可有一个数量级以上的差别。正因为顺序访问可带来性能提高,因此无论是在工业界还是在学术界都有大量的技术致力于挖掘或者改善存储系统中的顺序访问。这些技术面临的一个重大挑战在于:如何获取顺序访问流的长度信息,只有对长度信息具有一定程度的了解,相关技术才能真正发挥出其功用。针对这种情况,提出一种加权图模型挖掘和预测顺序流长度信息。该模型不仅能准确捕获不规则的长度信息变化,也能根据不同负载类型的特点动态调整以适应尽可能多的应用环境。并行磁盘系统因为其本身的特点往往用作数据中心的最底层存储设备,因此其配置的缓存一般都属于第二层缓存。第二层缓存的一个最主要特点是:数据访问具有很弱的时间局部性,这是因为到达第二层缓存的访问,都是来自于第一层缓存的缺失(Miss)。更为严重的是,随着存储系统缓存与主机缓存的配置越来越接近,第二层缓存中数据的重用距离(Reuse Distance)与数据被保存在缓存中的生命周期越来越接近。在这种情况下,任何提前减少第二层缓存数据生命周期的动作(如预取)都可能最终导致数据失去在缓存中被再次访问的机会。然而,这个问题在传统的预取算法中没有得到重视。针对第二层缓存的这些问题,提出一种自适应顺序预取算法ASEP,在决定预取深度的时候该算法不仅仅考虑磁盘顺序性的挖掘,还考虑到对第二层缓存中数据造成的影响,这些影响既包括因预取操作被替换出内存的数据,还包括因为生命周期被减少而失去再次被访问机会的数据。为此,ASEP还提出了一种模型用于评估预取数据对第二层缓存的影响。该算法大大提高了第二层缓存的访问命中率,改善了顺序预取在底层存储设备中的效率。在高度并行化的并行磁盘系统中,就预取技术来说,其预取请求的磁盘独立性要比并行性更加重要,前者可以大大降低预取请求的成本。考虑到传统预取算法在应用到并行存储系统中的局限性(数据条带分布导致顺序性缺失),提出了一种针对并行磁盘系统的基于访问局部性的条带化预取算法LSP。条带化预取(StripPrefetching)是一种数据读取代价非常少的预取算法,一旦磁盘条带(Strip)上的某个数据块被命中,那么整个磁盘条带将会跟随此数据块一起被预取到缓存中,从而节省了预取请求中磁头定位寻道时间。更重要的是LSP将用户的访问特征融合到条带化预取之中,它首先根据用户的访问挖掘出磁盘上的预取区域,并限定只有位于这些预取区域的磁盘条带才会被预取。由于预取区域在数据分布上的空间局部性,此算法可以有效地改善缓存利用率,并提高磁盘带宽的使用效率避免带宽的浪费。传统缓存管理算法往往以最小化缓存失效(Cache Miss)的数量作为设计目标。实际上,这样的设计目标可能导致错误。一方面,可磁盘并行读取数据的缓存失效其成本要远小于只能序列化读取的缓存失效,同样可顺序读取的缓存失效也远小于随机缓存失效的成本。针对并行磁盘的这些特点,提出一种能够同时考虑并行性和空间局部性的缓存管理算法PCAR。通过均匀地替换出各个磁盘的数据,并优先替换出包含最多数据块的条带,从而能够有效地利用磁盘之间的并行性以及磁盘内的空间局部性。结果表明经此替换算法的缓存过滤后传递给磁盘以及其它组件的访问流得到了重组和优化,从而使得访问流更具并行性和空间局部性,这提高了并行存储系统的响应时间和吞吐率。
其他文献
服务外包是指服务品生产过程部分流程或制造品生产中劳务流程从特定企业内部转到外部完成,从上个世纪 70年代中期在西方开始出现,能有效降低企业成本、增强企业核心竞争力.随
期刊
目的探讨血管紧张素Ⅱ(AngⅡ)1型受体拮抗剂(ARB)厄贝沙坦对2型糖尿病(T2DM)大鼠肾小管上皮细胞基质金属蛋白酶-2(MMP-2)/基质金属蛋白酶组织抑制物-2(TIMP-2)和α-平滑肌肌动蛋白(α—SM
通过对各项生长和生理指标考察,研究了在土壤中施用城市污泥对黑麦草(Lolium perenne L.)和高羊茅(Festuca arundinacea)的生长影响。结果表明,在土壤中添加污泥对植物生长的影响
采用电Fenton法对北京市某垃圾转运站垃圾渗滤液进行深度处理,运用三维荧光光谱技术对电Fenton法氧化前后溶解性有机物(DOM)的荧光特性进行了分析.结果表明,电Fenton法可使COD
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
<正>一篇议论文中从引论转到本论,从本论转到结论,就有两大过渡口,类似这样的关键地方还有几处,不管是由合到分,由分到合,还是转折,推进,都要求紧密衔接,过渡巧妙贴切。如恩
住区景观设计五项原则出台日前,建设部住宅产业化促进中心组织编写、同济大学建筑与城市规划学院风景科学研究所等五家单位共同参与编制的《居住区环境景观设计导则(试行稿)
云计算时代,随着应用规模的不断扩大,计算效率问题日益突出,虚拟计算环境的稳定高效运行得到了当前学术界与工业界的普遍关注。虚拟机的合理部署与调度是虚拟计算环境高效稳
建立一种快速溶剂萃取(ASE)-凝胶净化(GPC)-高效液相色谱(HPLC)法测定土壤中6种邻苯二甲酸酯(PAEs)的方法。土壤样品经二氯甲烷-丙酮(体积比为1∶1)快速溶剂萃取后,过Bio-Beads SX-3凝
随着多媒体技术和通讯技术的飞速发展,多媒体视频数据应用对于处理器的性能提出了越来越高的要求,本课题针对该应用的未来需求,展开了流媒体处理的特定应用处理器结构的研究