波达方向(Direction Of Arrival,DOA)估计作为阵列信号处理的研究内容之一,在雷达、声纳、通信、地震等军事和经济领域有着广泛的应用。嵌套阵列和互质阵列是近年来兴起的新型阵列,能显著提高阵列自由度,处理信源数大于阵列阵元数时的DOA估计,提高估计性能。针对不同阵列模型下,经典DOA估计算法的局限性,本文主要研究内容如下:首先在均匀线阵模型下,为解决当大型线阵或样本数较大时,MUSIC算法效率较低的问题,提出了基于Nystr(?)m和谱分解的Root-MUSIC算法。此算法使用Nystr(?)m方法对信号接收矩阵分解,构建了近似噪声子空间,该过程避免了直接计算协方差矩阵和协方差矩阵特征分解的过程,优化了MUSIC算法。谱分解算法进一步减少了Nystr(?)m-Root-MUSIC的多项式阶次,降低了Nystr(?)m-RootMUSIC的计算复杂度。仿真实验表明,此算法不仅在较高信噪比下具备较好的估计精度,还在大型阵列环境下有较高的估计效率。然后在嵌套阵列模型下,为解决当虚拟阵列阵元数远大于原始阵元数时,经典DOA估计算法性能较差的问题,提出了嵌套阵列下基于谱分解的DOA估计算法。此算法在分析了嵌套阵列结构的基础上,使用传播算子(Propagator Method,PM)算法对虚拟阵列的信号协方差矩阵分块,构造了近似噪声子空间。进一步利用谱分解算法简化PM-Root-MUSIC多项式求根的过程,提高了嵌套阵列下PMRoot-MUSIC算法的性能。仿真结果证明了此算法复杂度低,可以进行高精度的DOA估计。最后在互质阵列模型下,为提高二维MUSIC算法在低信噪比和小快拍数环境下的准确性和实时性,提出了基于子空间投影的改进二维MUSIC算法。此算法利用非圆信号的特性,扩展了信号接收矩阵,有效的将二维估计问题转换成一维估计问题,然后进一步采用子空间投影算法,修正了噪声子空间,仿真结果表明此算法在低信噪比和小快拍数环境下具有较好的估计性能。