计算流体动力学(Computational Fluid Dynamics,CFD)采用数值模拟方法来研究流体流动相关问题,目前已经广泛应用到航空航天、地面交通、船舶、化工、电子等领域。由于CFD数值模拟需要精细的网格及大量时间步,导致巨大的计算开销。而近几年以“主处理器+加速器或协处理器”方式进行协同工作的众核高性能计算机越来越成为主流,为CFD数值模拟提供了新的计算平台,但是如何在这种异构平台上移植与优化CFD应用程序,实现高效、大规模的数值模拟,成为高性能计算领域面临的重要问题。由国防科技大学航天学院开发的超燃冲压发动机数值模拟软件LESAP(Large Eddy Simulation for Air-breathing Propulsion)是典型的CFD应用软件。本文主要针对如何利用现代高性能计算机系统实现高效的超燃冲压发动机燃烧模拟软件问题,研究基于OpenMP 4.0实现CFD软件在CPU+MIC众核平台上的高效并行计算技术。通过分析超燃冲压发动机燃烧模拟软件的实现和计算过程,结合CPU+MIC众核异构平台的体系结构特点,使用新的OpenMP 4.0编程标准实现超燃冲压发动机燃烧数值模拟软件在CPU+MIC混合异构平台上的并行计算,进而实现高效、可扩展的超燃冲压发动机燃烧模拟软件。论文的主要工作如下:(1)在通用CPU平台上,使用OpenMP编译指导语句实现LESAP软件的MPI/OpenMP混合并行,使OpenMP并行效率达80%以上。然后根据LESAP代码特点,做了求幂算法优化、手工算法优化和通信优化。实验结果表明,在天河二号的1个结点(含2个12核的Intel Xeon E5-2692 CPU加3块Intel Xeon Phi 31S1P协处理器)上,对一个网格规模约530万单元的实际超燃发动机燃烧数值模拟算例,优化后的LESAP加速比达到7.95。(2)针对CFD应用的异构并行计算问题,提出使用OpenMP 4.0实现CPU+MIC异构移植,面向通用CPU与MIC构成的新型异构众核平台,设计了一种针对结构化网格CFD应用异构移植的基于网格块划分的负载均衡优化方法,并采用SIMD向量化、数据传输优化等技术对LESAP进行性能优化。实验结果表明,在天河二号的单结点上,对一个网格规模约532万单元的实际超燃发动机燃烧数值模拟算例,与CPU端最优版本相比,异构优化后的LESAP加速比达到3.07。(3)最后为评估CPU+MIC版LESAP的可扩展性,本文在天河二号上进行了大规模可扩展性测试。从10结点扩展到640结点的并行效率达到75%,最大使用核数达14720个,网格规模达33.623亿。