波达方向（Direction Of Arrival,DOA）估计算法是阵列信号处理领域中的关键技术之一。传统的DOA估计算法都是在均匀阵列上进行的,具有可估计信源数少,估计精度低等缺点。为了解决这些问题,近年来出现了一种由两个或者多个均匀阵列组成的嵌套。与均匀阵列相比,嵌套阵列能够显著地增加自由度,可以解决比物理阵元实际数量更多的信源,并且在阵元数相同的情况下,可以提高估计的精度。因此,嵌套阵列受到越来越多的关注,本文对嵌套阵列的DOA估计展开了研究,主要工作概述如下:（1）提出了一种分布式嵌套阵列天线结构,该阵列天线结构由两个相互独立的四级嵌套子阵构成,两个子阵之间具有一个基线长度B。对该阵列天线接收到的信号进行高阶累积量和Khatri-Rao积运算可以得到一个具有O(N^2q)个虚拟阵元的均匀直线阵列天线结构。针对新得到的阵列天线结构,使用空间平滑酉旋转不变子空间波达方向估计算法对信号进行DOA估计。首先,根据阵列天线接收到的信号得到其高阶累积量矩阵;然后对得到的高阶累积量矩阵进行向量化得到等效的接收信号,并利用空间平滑技术对等效接收信号的协方差矩阵进行秩的恢复;最后根据双尺度酉旋转不变性子空间估计（Estimating Signal Parameters via Rotation Invariance Techniques,ESPRIT）算法得到信号的波达方向。该方法可以有效地提高阵列天线的自由度,进而达到提高估计精度的目的。仿真结果证明了基于所提出阵列天线结构的DOA估计方法的有效性。（2）提出了一种新的二维阵列,由该阵列得到的差合成阵列具有更高的自由度,这种二维阵列叫做高阶二维嵌套阵列,它的高阶差合成阵列可以形成含有O(N^2q)个阵元的虚拟平面阵列。为了充分利用所形成的阵列天线,提出了一种新的DOA估计算法,并且可以估计出O(N^2q)个统计独立的非高斯信源。与均匀平面阵列的高阶累积量DOA估计算法进行比较,所提出的嵌套阵列经过高阶累积量和Khatri-Rao积运算可得到具有更多虚拟阵元的平面阵列,对该平面阵列利用空间平滑技术进行DOA估计,该估计方法不但具有更高的估计精度,而且还可以估计出更多信号源。仿真结果证明了基于所提出阵列天线结构的DOA估计方法的有效性。（3）提出了一种L型嵌套阵列,由该阵列得到的差合成阵列是一个具有O（N^q） x O（N^q）个虚拟阵元的二维平面阵列。所提出的阵列由两个一维嵌套阵列组成,一个在x轴上,一个在y轴上。为了利用增加的虚拟阵元,提出了一种新的DOA估计算法。首先嵌套阵列和基于高阶累积量的DOA估计算法形成具有更多虚拟阵元的平面阵列;然后利用2-D空间平滑的多重信号分类（Mutiple Signal Classification,MUSIC）算法对其俯仰角和方位角进行估计。在物理阵元数相同的情况下,将该算法分别应用到L型嵌套阵列,均匀L型阵列和二维嵌套阵列中,对其性能进行仿真与分析。仿真结果证明了基于所提出阵列天线结构的DOA估计方法的有效性。