主被动一体化数字阵列雷达具有探测能力高、识别能力强以及工作方式灵活等优势,因此在复杂环境中的应用越来越广泛。而在现有的数字阵列雷达信号处理算法中,波达方向(Direction of arrival,DOA)估计面临着阵列误差、多径带来的相干问题、低信噪比、小样本等非理想条件带来的挑战。另外当数字阵列雷达工作在主动模式下,如何利用回波已知先验信息提高DOA估计性能也是一个重要的问题。因此本文从互耦误差存在、相干信号、宽带信号以及主动条件下已知发射信号形式等方面开展DOA估计问题的研究,主要工作可以概括为:首先,针对互耦误差情况下DOA估计问题,提出互耦误差条件下实值DOA估计方法和互耦误差条件下相干信号的DOA估计方法。根据互耦模型的特殊结构,利用辅助阵元构造导向矢量不受互耦误差影响的阵列模型。为了提高计算效率,仅利用阵列协方差矩阵实部进行特征分解构造空间谱估计函数,保证估计性能的同时减小计算量。当相干信号存在时,利用新的阵列输出协方差矩阵中任意行数据构造满秩矩阵进行解相干,从而实现互耦误差条件下相干信号DOA估计。其次,研究了宽带DOA估计问题,提出了一种基于信道化的宽带DOA估计方法。该方法利用数字信道化接收机将宽带阵列的输出转换到多个窄带通道并估计每个输出通道参数,基于输出的窄带通道分别利用信道化ISM方法和信道化TOPS方法估计获取宽带信号DOA值。信道化方法能够准确估计信号参数,滤除带外杂波提高输出信噪比且信道化接收机能够并行实现,易于实时处理。当相干宽带信号与非相干宽带信号同时存在时,利用斜投影消除各个频率协方差矩阵中非相干信号的影响,实现相干宽带信号DOA和非相关宽带信号DOA的分步估计,从而可识别多于阵元数目的信号源。再次,提出了一种基于四阶累积量的贝叶斯学习稀疏重构波达方向估计方法。该方法构建一个包含离格参数的四阶统计量稀疏模型,利用贝叶斯学习方法进行稀疏重构获取DOA估计值,高阶统计量的运用能够有效抑制高斯噪声并扩展阵列孔径,从而使得本文方法具有更高的估计精度,且能够分辨出多于阵元个数的入射信号。另外离格参数的引入消除了信号真实方向与离散样本集中固定目标角度之间误差带来的DOA估计性能的下降。最后,研究了主动工作模式下已知回波信号形式及参数情况下DOA估计问题。在窄带线性调频信号波达方向估计方面,提出了一种包括波束形成、脉冲压缩、相参积累和目标选择流程的新的DOA估计方法。该方法能在不改变目标方位信息的情况下有效提高输出信噪比,从而可以获得更高的DOA估计精度和角度分辨率。在宽带线性调频信号波达方向估计方面,提出了基于匹配滤波器的宽带线性调频信号DOA估计方法。利用匹配滤波器将宽带线性调频信号转换成近似于sinc函数的窄脉冲,利用该脉冲输出的协方差矩阵构造导向矢量仅与目标方位角有关而不受信号频率变化影响的阵列模型,从而可以利用传统的窄带DOA估计方法进行宽带DOA估计。该方法能够有效提高信噪比,且在相干和非相关宽带Chirp信号的DOA估计中都有较好表现。