在科学计算和工程计算的领域中,CPU与GPU构成的异构系统因其优越的计算能力被广泛使用。GPU为程序员编程简便提供了共享虚拟内存（SVM）,使程序员不再需要考虑CPU与GPU之间的数据传输而交给系统自动完成。虽然编程更加方便,但是共享虚拟内存引入了额外的虚实地址转换开销。近年来,随着GPU应用场景的不断广泛,出现了大量的不规则应用（虚拟地址分布空间局部性差且数据之间存在相关）。由于GPU单指令多线程的执行模型,在同一时间会并发出大量的地址转换请求,这又进一步加剧了不规则应用的不规则性。这种不规则性就导致了地址转换开销过大,经过测试,不规则应用单由地址转换开销而导致的性能下降达到了3.7-4倍。因此,减少地址转换开销成为了不规则应用发挥GPU强大的计算能力和吞吐量道路上的一个关键问题。当前的地址转换加速部件为TLB,TLB缓存最近访问过的页表项来为接下到来的相同地址转换请求提供加速,挖掘页表项之间的局部性。但是由于不规则应用虚拟地址的不规则性不同于规则应用,不规则应用的TLB命中率平均只有15%。当前关于TLB的优化并无法有效的解决不规则应用地址转换开销过大的问题,一是由于GPU片上空间的限制,二是由于过大的TLB会导致缓存访问延迟的升高,三是由于TLB所能挖掘的是L1页表中的局部性,而不规则应用中的低局部性主要体现在L2页表中。正是由于TLB的低效以及所能做出的改进有很局限,因此我们把降低不规则应用地址转换的重心放到了减少TLB的不命中开销上。本文设计了树块Buffer,这是一个采用树型结构与分块结构结合的全新缓存结构。此结构通过树型结构一方面消除了传统缓存中的部分冗余信息,又使得请求在填入过程中实现预分类。我们同时提出了不同的请求响应策略,依据请求预分类的结果。实验结果表明,与目前性能最优的邻域缓存相比,树块Buffer可以在节省片上空间消耗的同时,减少程序整体的执行时间。本课题的工作主要集中在以下三点:1.本课题分析了CPU-GPU异构系统中不规则应用的地址转换延迟开销过大的原因以及虚拟地址不同标识的分布情况。根据虚拟地址不同标识的分布情况,我们用树型结构与分块结构结合的方法重新设计IOMMU缓存,提出了树块Buffer作为高效缓存部件。树块Buffer可以在节省GPU的片上空间开销的同时,减少程序的执行时间。2.本课题在实现树块Buffer结构的基础上,设计了适应树块结构的Buffer工作机制。我们通过分析地址转换过程发现,刚填入Buffer的请求往往需要等待一段时间才会被响应。因此,我们设计了相对复杂的请求填入流程,并实现了地址转换请求在填入过程中预分类的功能。并调整了PWC的结构,使得树块Buffer中的每一个块可以对应一个PWC缓存行,从而实现了PTW返回信息的定向更新。3.本课题依据树块Buffer中请求预分类的结果,提出了一种全新的地址转换请求调度策略。该策略,轮询遍历所有被占用的树块Buffer块,保证每次遍历所有有效块都会被响应一次。一次遍历分两次循环,第一次循环响应拥有不同邻域地址转换请求的块,以此来避免相同页面的重复访问;第二次循环响应拥有相同邻域地址转换请求的块,以此来动态的调整为地址转换请求更多的邻域分配更多的PTW去处理。本课题将提出的树块Buffer以传统Buffer为基准和邻域Buffer进行了对比。实验结果显示,当shared TLB大小为256项时,和邻域Buffer相比,树块Buffer可以在减少28%的GPU片上空间开销的同时减少13.9%的程序执行时间。而且,通过采用全新的请求调度策略,可以以将TLB的命中率平均提升12.8%。