计算机图形处理器(Graphics Processing Unit,GPU)的高速发展,不但促进了图像处理、虚拟现实、计算机仿真等应用领域的快速发展,同时也为人们利用GPU进行图形处理以外的通用计算提供了良好的运行平台。基于GPU的图形处理及其通用计算成为图形学及高性能计算领域的热点研究课题。基于GPU的高性能并行算法研究是该课题的重要内容之一。本文以探索GPU大规模并行通用计算的运用模式为目标,从传统问题入手,选择典型算法进行研究,主要研究了数值类算法中的非计算密集型算法、数据密集类算法和元启发式优化算法这三类算法在GPU上的并行化。数值类算法中的非计算密集型算法存在内存墙问题,而在基于GPU的并行化过程中,该瓶颈尤为突出。本文以稀疏矩阵向量乘算法为代表,研究基于GPU并行化方法以及性能优化策略。数据密集类算法由于其特有的数据可分割性,因而比较适于GPU并行计算。本文以频繁模式挖掘算法和最近邻搜索算法为代表,研究了此类算法的GPU并行化方法以及性能优化策略;针对最近邻搜索问题,结合KD-Tree空间划分与ABT方法,提出了适于欧几里德距离的点剪枝策略。元启发式优化算法是求解大规模优化问题的高效方法之一,其解空间搜索过程具有天然的并行性。本文以蚁群算法为代表,研究了蚁群算法及其若干改进算法在GPU上的并行化方法;针对蚂蚁个体智能性不足的问题,提出了带有展望策略的蚁群优化算法;针对蚁群参数敏感问题,研究了多蚁群在GPU上同时进化方法,提出了适于GPU的粗/细粒度结合的多蚁群算法;针对异构多蚁群的信息交流问题,提出了一种新的基于共享信息素矩阵的交流策略。大量的标准测试表明,上述算法可以达到几倍甚至上百倍的加速比;与已有的同类基于GPU的并行算法相比,上述算法具有更高的实际浮点性能和存储器带宽。CPU+GPU的异构多核架构是目前GPU大规模并行通用计算的运用模式,探讨传统算法的GPU并行化方法,使之更适用于异构多核架构下并行计算,能够为基于GPU的高性能计算的普及提供理论和方法。