论文部分内容阅读
人类对超级计算的性能追求从未止步。计算机Top500的统计结果表明,从1993年到2010年,超级计算机的性能一直保持每3年提升一个量级的速度。超并行处理(HyperParallel Ptocessing,简称HPP)体系结构是中国科学院计算技术研究所国家智能计算机中心提出的一种具有良好扩展性,适应当前超级计算机发展需求的一种体系结构。系统控制器是体系结构的关键部件,能够体现超并行处理架构的核心思想,因此研究系统控制器的关键技术对于超级计算机的研究具有重要意义。
系统控制器是连接超级计算机节点内部众多处理器,并提供节点间互连接口的关键芯片,其设计和研究面临着众多挑战。多核甚至众核已经成为通用处理器的主流和发展方向,由于处理器并行度的增加,节点内部的通信压力加剧,这就要求系统控制器为节点内提供更高的通信带宽和更低的通信延时,同时为更多并行度的应用提供良好的同步机制;异构处理器的采用已经成为提高超级计算机性能的重要手段,使得软硬件环境以及处理器之间的通信模式也变得更加复杂,对系统控制提出了异构容忍、多种通信模式支持等要求;超级计算机规模不断增大,导致全系统网络的通信性能成为制约应用实际性能的关键因素之一,系统控制器能够针对特定的通信行为进行加速,从而缓解全系统网络的压力。这些新的挑战使得以往的SMP控制器、ccNUMA控制器等不能很好的在超并行处理的体系结构下被应用,因此需要设计一种高性能、高扩展性的系统控制器。
在中科院超龙一号超级计算机研发项目基础上,本文设计实现了一个HPP系统控制器,它可以实现节点内5个SMP使用系统总线直接互连,同时提供一个高速通用I/O接口来实现节点间系统网络互连,提供一个定制的网络接口来实现定制全局同步网络互连,并且为通信系统嵌入了几个专用的通信部件。本文的研究成果如下:
1)实现高速系统总线HyperTransport(HT)接口,为系统控制器、龙芯处理器以及AMD处理器提供直接互连,从而提供了节点内高带宽、低延时的互连网络。
2)设计并实现HT-to-PCIe的协议转换桥,并在PCIe接口实现了I/O虚拟化,从而使得节点内所有处理器均可通过系统控制器的PCIe接口直接连接到系统网络上,通过缩短通信路径来降低通信延时、提高节点间的通信效率。
3)在系统控制器内设计并实现了一种支持节点内细粒度同步的硬件部件,可以支持细粒度Lock、Put/Get等同步原语的执行,充分挖掘通信的并行性。理论分析和最终的实验结果都证明了它对并行应用有良好的加速作用。
4)在系统控制器内部设计并实现了一种支持硬件集合操作的硬件部件,可以加速Barrier和Reduce的执行,从而缓解系统网络规模增大的压力。